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内 容 简 介 
犹如 个 人 的 修 齐 治平 ， 企 业 大 数据 运营 同样 需要 经 历 筑 巢 、 联 如 、 孕 育 、 分 娩 、 培 育 、 腾 飞 6 个 阶 
段 。 筑 巢 的 目的 是 建立 一 个 结构 严谨 的 企业 架构 ， 为 企业 发 展 打下 基础 。 联 姻 是 将 企业 架构 与 大 数据 结 
合 起 来 ， 从 业务 活动 角度 提出 对 大 数据 的 需求 ， 从 大 数据 角度 提出 对 业务 活动 的 支撑 方法 与 过 程 。 孕 育 
是 以 大 数据 战略 为 驱动 ， 构 建 大 数据 应 用 框架 。 分 娩 是 将 大 数据 从 想象 变 为 现实 ， 形 成 可 以 运行 的 大 数 
据 服务 。 培 育 是 根据 新 需求 对 大 数据 服务 进行 优化 ， 更 加 有 效 地 支撑 企业 业务 活动 。 腾 飞 指 的 是 大 数据 
服务 在 行业 中 的 应 用 ， 企 业 在 大 数据 服务 的 辅助 下 走向 成 功 和 辉煌。 
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专家 推荐 


1. 数据 的 运营 和 管理 将 成 为 每 一 个 企业 都 要 面 对 的 问题 。 这 本 书 以 企业 架构 为 中 心 ， 
阐述 了 如 何 把 基于 大 数据 的 思维 、 方 法 和 技术 融合 在 企业 的 管理 之 中 ， 服 务 企业 的 业务 目 
标 和 活动 。 此 外 ， 作 者 还 系统 地 梳理 了 当下 信息 技术 发 展 中 的 各 个 热点 ， 这 也 是 本 书 的 一 
大 亮点 。 

阿里 巴巴 集团 副 总 裁 ， 著 名 信息 管理 专家 , 《数据 之 若 》 作 者 涂 子 沛 

2， 当前 中 国 经 济 正 处 于 从 “要 素 驱动 ”向 “效率 驱动 ”的 大 转型 时 代 ， 效 率 驱 动 的 
主体 就 是 广大 企业 要 从 粗放 增长 向 集约 增长 转型 ， 通 过 技术 创新 、 管 理 创 新 和 制度 创新 不 
断 提 高 生产 力 和 竞争 力 水 平 ， 实 现 效 率 驱 动 经 济 增长 的 良性 循环 。 看 完 本 书 ， 让 我 更 加 坚 
信 大 数据 将 是 驱动 这 个 时 代 转 型 的 “新 能 源 ” “新 引擎 ”。 作 者 利用 完整 人 生 的 拟人 手法 系 
统 、 科 学 地 提出 的 “全 方位 架构 企业 ， 赢 在 大 数据 运营 ”的 全 新 观点 ， 将 使 更 多 企业 有 所 
感悟 、 有 所 作为 。 

国家 无 线 电 监测 中 心 、 国 家 无 线 电 频 谱 管 理 中 心 副 主任 ， 宋 起 柱 博士 

3. 本 书 作者 将 企业 架构 和 大 数据 两 个 视角 相互 融合 ， 提 出 构建 面向 大 数据 时 代 的 服 
务 型 企业 架构 新 思维 ， 视 角 独 特 ， 理 论 新 颖 ， 对 于 企业 形成 大 数据 思维 ， 设 计 大 数据 商业 
模式 ， 构 建 大 数据 应 用 架构 具有 很 好 的 参考 价值 。 

北京 赛 智 时 代 信息 技术 咨询 有 限 公 司 总 经 理 赵刚 博士 

4. 大 数据 时 代 已 经 到 来 ， 但 是 许多 企业 对 于 大 数据 服务 运营 仍然 比较 陌生 。 对 于 许 
多 企业 而 言 ， 其 掌握 的 数据 实 属 金 矿 ; 然而 ， 如 何 开采 、 管 理 、 运 营 、 变 现 这 座 大 数据 金 
矿 是 一 个 具有 挑战 性 的 课题 。 本 书 对 大 数据 服务 和 运营 做 了 系统 、 深 入 、 翔 实 的 讨论 ， 其 
中 不 乏 许 多 从 实际 应 用 中 提炼 出 来 的 深刻 见解 。 作 者 在 技术 管理 、 工 程 规 划 、 软 件 开 发 等 
领域 有 着 丰富 的 经 验 ， 把 自己 积累 十 几 年 的 一 线 经 验 知识 梳理 出 来 ， 撰 写 出 这 本 关于 大 数 
据 运营 的 专著 ， 非 常 及 时 ， 也 非常 值得 一 读 。 

华裔 计算 机 科学 家 ， 美 国 华盛顿 大 学 副教授 、 终 身 教授 ” 陈 一 昕 博士 
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大 数据 运营 
服务 型 企业 架构 新 思维 
5. 从 企业 理财 的 角度 看 ， 大 数据 运营 将 导致 企业 融资 决策 、 投 资 决策 、 财 务 优化 、 
税收 筹划 和 风险 治理 的 革命 性 变化 ,本 书 的 优异 之 处 在 于 为 企业 适应 这 种 变化 准备 了 技术 、 
方法 和 实践 。 
富 管理 专家 宋 晓 恒 博士 
6. 在 信息 膨胀 的 社会 ， 无 系统 化 的 思维 便 会 落后 挨打 。 本 书 不 妹 归 大 数据 的 好 处 ， 
又 不 星 当地 仅 谈 技术 ， 而 是 自 业 务 说 起 ， 强 调 如 何 运用 大 数据 搭建 企业 框架 ， 这 对 于 企业 
管理 人 员 开拓 思路 ， 搭 建 工 作 平 台 均 会 提供 一 臂 之 力 。 
东方 基金 管理 有 限 责 任 公司 总 经 理 ” 孙 昱 伟 博士 
7. 通过 作者 独具匠心 的 构思 和 设计 ， 本 书 从 企业 架构 和 战略 平滑 地 讨论 到 大 数据 运 
营 ， 以 及 相关 技术 体系 的 建设 和 完善 ， 既 适用 于 企业 管理 人 士 ， 更 适用 于 IT 主管 和 IT 设 
计 及 研发 工程 师 , 还 可 以 帮助 企业 信息 化 部 门 的 管理 和 技术 人 士 更 好 地 厘清 业务 与 开 之 间 
的 关系 ， 因 为 他 们 是 大 数据 运营 的 主要 承担 者 。 
中 讯 邮电 咨询 设计 院 有 限 公 司 信 息 技术 部 总 工程 师 “” 梅 试 
8. 本 书 从 电信 行业 出 发 ， 全 面 系统 地 阑 述 了 作者 对 企业 架构 、 大 数据 运营 的 深入 理 
解 ， 既 着 眼 于 战略 体系 高 度 ， 又 注重 具体 案例 分 析 ， 是 集 作 者 多 年 规划 、 设 计 、 管 理 经 验 
的 呕心沥血 之 作 。 
京东 商城 大 数据 专家 李 净 博士 
9. 无 论 是 企业 大 数据 还 是 科学 大 数据 ， 无 论 卖 不 卖 钱 ， 都 需要 “运营 ”。 凡 事 预 则 立 ， 
不 预 则 废 。 这 是 一 本 企业 管理 者 和 数据 科学 家 可 以 一 起 分 享 的 书 。 
国家 天 文 台 研究 员 ， 中 国 虚 拟 天 文 台 和 中 国 天 文 数 据 中 心 负责 人 鹤 辰 州 博士 
10. 大 数据 是 一 个 系统 工程 ， 作 者 紧 紧 抓 住 “ 架 构 ””“ 过 程 ””“ 服 务 ” 三 个 要 点 ， 对 
大 数据 运营 的 方方面面 妮 娓 道 来 ， 是 目前 为 数 不 多 的 在 行业 大 数据 实 操 层面 解析 详尽 ， 切 
实 落地 的 专业 著述 。 收 到 本 书 的 时 候 我 正在 思考 如 何 进 行 大 数据 公司 的 数据 治理 ， 感 谢 作 
者 以 其 坚实 的 理论 基础 和 丰富 的 实践 经 验 ， 为 大 数据 运营 提供 了 一 个 周密 的 框架 体系 和 可 
执行 的 实施 路 径 。 虽 然 本 书 主 要 围绕 电信 行业 , 但 对 于 其 他 行业 同样 具有 高 度 的 参考 价值 。 
书 中 阐述 的 高 屋 建 但 的 架构 体系 规划 , 业务 驱动 的 大 数据 服务 设计 , 组 织 严 密 的 过 程 实施 ， 
相信 无 论 是 高 层 的 战略 规划 者 、 中 层 的 管理 者 ， 还 是 基层 的 执行 者 ， 都 能 从 本 书 中 获 益 菲 
浅 。 这 是 一 本 服务 型 企业 在 大 数据 时 代 进 行 价值 创造 的 行动 指南 。 
艾 漫 科技 副 总 裁 。” 郭 锐 
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科学 技术 的 发 展 大 大 改变 了 人 类 生产 和 生活 的 方式 ， 尤 其 是 自从 人 类 发 明了 计算 机 和 
互联 网 以 来 ， 信 息 的 快速 流动 和 共享 让 全 球 资源 得 以 有 效 配置 ， 有 力 地 推动 了 世界 经 济 的 
全 球 化 和 一 体 化 。 

信息 通信 技术 的 发 展 引发 了 多 个 社会 热点 ， 包 括 物 联网 、 移 动 互 联网 、 云 计算 、 大 数 
据 等 。 物 联网 的 目标 是 连接 自然 环境 与 物质 世界 ， 移 动 互联 网 的 目标 是 连接 人 与 人 ， 云 计 
算 的 目标 是 实现 IT 资源 如 同 水 电 一 样 按 需 分 配 ， 大 数据 的 目标 则 是 为 不 同 领域 提供 决策 
支持 。 

物 联网 能 够 实现 物 与 物 的 连接 ， 可 以 应 用 于 工业 、 环 保 、 医 疗 、 交 通 、 安 防 、 水 利 、 
se on 据 开 研究 与 咨询 公司 高 德 纳 《Gartner) 预测 ， 到 2020 年 ， 可 穿 协 设 


a aye 将 从 目前 的 31 亿 台 es 
日 本 外 的 市 场 规模 将 从 目前 的 2500 亿美 元 增 至 5830 亿美 元 。 中 国 将 成 为 全 球 物 联 网 市 场 
的 领跑 者 ， 预 计 2020 年 ， 中 国 物 联 网 市 场 规模 将 占 整 个 亚太 地 区 市 场 规模 的 599%。 可 见 
物 联 网 产业 具有 非常 巨大 的 发 展 潜力 。 

物 联网 连接 的 是 “ 物 ”， 而 互联 网 连接 的 则 是 “信息 ”。 随 着 移动 通信 技术 的 发 展 ， 移 
动 互 联网 已 经 成 为 社会 发 展 的 热点 之 一 。 根 据 中 国 互 联网 信息 中 心 统计 ， 截 至 2014 年 6 
月 底 ， 我 国 网 民 数量 达到 6.32 亿 ， 手 机 网 民 数 量 达到 5.27 亿 ， 移 动 互 联网 用 户 大 约 占 互 
联网 用 户 总 数 的 80%。 

目前 ， 全 球 大 概 有 52 亿 移动 用 户 ， 其 中 仅 有 大 约 30% 的 智能 手机 使 用 率 ， 具 有 很 大 
的 市 场 发 展 空间 。 据 美国 权威 市 场 研究 公司 IDC 预测 ,2015 年 全 球 智能 手机 出 货 量 将 达到 
14 亿 ， 市 场 规模 将 达到 4840 亿美 元 ， 中 国 智能 手机 的 出 货 量 将 达到 5 亿 部 ， 超 过 全 球 出 
货 量 的 13。2014 年 ， 中 国 移动 市 场 规模 接近 1900 亿 元 ， 预 计 2015 年 ， 中 国 移动 互联 网 
市 场 规模 会 超过 4000 亿 元 ， 预 计 2017 年 ， 移 动 互联 网 市 场 将 继续 保持 强劲 的 增长 势头 ， 
有 望 超过 6000 亿 元 。 
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从 产品 形态 看 ,传统 的 智能 手机 、 平 板 电 脑 将 会 逐渐 向 大 屏 、 高 清 显 示 、 多 核 处 理 器 、 
多 模 多 频 的 方向 演进 ， 而 可 穿戴 设备 、 跨 界 智能 终端 、 智 能 电视 、 智 能 汽车 等 将 成 为 新 兴 
的 智能 终端 产品 ， 具 有 非常 强劲 的 市 场 潜 力 。 

移动 互联 网 市 场 在 移动 搜索 、 移 动 在 线 教育 、 移 动 电子 商务 、 移 动 支 付 、 移 动 在 线 游 
戏 等 方面 将 会 保持 强劲 的 发 展 势头 。 预 计 2015 年 ， 移 动 搜索 的 市 场 规模 将 超过 60 亿 元 ， 
移动 电子 商务 市 场 将 突破 千 亿 元 ， 移 动 支 付 市 场 规模 将 超过 7000 亿 元 。 

移动 互联 网 的 发 展 离 不 开 移动 智能 终端 和 移动 通信 网 络 的 发 展 ， 而 移动 通信 技术 是 推 
动 移动 互联 网 飞速 发 展 的 前 提 和 基础 。 作 为 移动 互联 网 的 重要 载体 ， 智 能 手机 、 平 板 电脑 
等 移动 设备 的 销量 将 继续 扩大 。 除 了 智能 手机 和 平板 电脑 ， 手 表 、 手 环 、 项 链 、 滑 板 、 智 
能 眼镜 、 环 境 监 测 设备 、 医 疗 设备 等 将 会 有 很 大 的 发 展 空 间 。 

在 移动 数据 业务 的 支持 方面 ， 移 动 通信 网 络 的 发 展 经 历 了 第 二 代 (2G)、 第 三 代 (3G) 
和 第 四 代 〈4G)， 第 五 代 (5G) 正 处 于 研究 阶段 。2G 的 传输 速率 为 9.6kb/s， 最 高 可 达到 
384kb/s; 3G 在 室内 、 室 外 和 行车 环境 的 传输 速率 分 别 为 2Mb/s、384kb/s 和 144kb/s， 通 过 
优化 最 高 可 达到 上 行 5.8Mb/s， 下 行 28Mb/s 的 传输 速率 ，4G 的 传输 速率 可 以 达到 上 行 
50Mb/s， 下 行 100Mb/s; 5G 的 传输 速率 预计 最 高 可 达到 10Gb/s， 是 4G 传输 速率 的 近 100 
倍 。 移 动 通信 网 络 传输 速率 的 不 断 提升 为 移动 互联 网 应 用 的 发 展 创造 了 条 件 。 

云 计算 能 够 实现 IT 资源 的 按 需 分 配 , 推动 更 加 专业 化 的 社会 分 工 , 进一步 激发 全 社会 
的 创新 能 力 。 据 美国 权威 市 场 研究 公司 IDC 预测 ，2015 年 云 计 算 的 市 场 规模 将 达到 1180 
亿美 元 。 根据 计 世 资讯 研究 (CCW Research), 2014 年 我 国 云 服务 市 场 规模 已 经 达到 1645.8 
亿 元 ， 同 比 增长 28%， 其 中 ，IaaS 占 比 达 23.4%，SaaS 服务 占 比 约 为 70%，Paas 的 市 场 
占有 率 较 低 。 为 了 推动 云 计算 在 我 国 的 快速 发 展 ， 工 业 和 信息 化 部 在 “十 三 五 ”纲要 中 ， 
将 云 计 算 列 为 2016 一 2020 年 重点 发 展 的 战略 性 产业 。 

据 美国 权威 市 场 研究 公司 IDC 预测 , 2015 年 大 数据 相关 的 软 硬 件 及 服务 市 场 规模 将 达 
到 1250 亿美 元 ， 图 像 、 音 频 、 视 频 等 多 媒体 成 为 大 数据 分 析 的 重要 驱动 力 ， 将 会 呈现 至 少 
3 倍 的 增长 。 产 业 链 中 起 主导 作用 的 IT 服务 提供 商 将 提供 数据 即 服务 (DaaS) 平台 ， 大 数 
据 分 析 公 司 会 在 此 基础 上 提供 增值 服务 ， 物 联网 领域 将 成 为 主要 的 分 析 对 象 ， 预 计 在 未 来 
的 5 年 ， 大 数据 市 场 将 会 有 30% 复 合 增长 率 的 高 速 增长 。 

无 论 是 物 联网 、 移 动 互 联网 ， 还 是 云 计 算 、 大 数据 ， 都 预示 着 未 来 巨大 的 市 场 发 展 空 
间 。 作 为 社会 经 济 细胞 的 企业 ， 在 面 对 市 场 提供 的 各 种 发 展 机 遇 时 ， 需 要 根据 自身 情况 制 
定 发 展 战略 ， 在 激烈 的 市 场 竞 争 中 占 得 先 机 。 
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序 : 全 方位 架构 企业 ， 赢 在 大 数据 运营 | 


信息 通信 技术 、 交 通 技术 促进 了 全 球 在 投 融资 、 设 计 、 采 购 、 生 产 加 工 、 物 流 配 送 、 
渠道 销售 等 环节 更 加 专业 化 的 社会 分 工 ， 大 大 提高 了 社会 整体 效率 ， 推 动 了 人 类 社会 的 快 
速 发 展 。 

社会 生产 在 全 球 范围 内 的 分 工 ， 虽 然 促进 了 社会 生产 力 的 发 展 ， 但 是 也 使 得 企业 处 于 
风险 更 大 的 环境 之 中 ， 企 业 需 要 快速 地 响应 外 部 变化 ， 才 能 够 在 市 场 竞争 中 占据 主动 。 因 
此 ， 要 求 企业 能 够 将 发 展 战略 有 效 地 贯彻 到 建设 和 运营 活动 之 中 ， 提 高 执行 力 。 如 果 企业 
发 展 战略 与 建设 和 运营 脱节 ， 企 业 将 会 偏离 预先 设 定 的 目标 和 方向 ， 在 激烈 的 市 场 竞争 中 
处 于 不 利 地 位 ， 甚 至 会 破产 。 因 此 ， 企 业 应 当 从 多 维度 、 全 方位 地 架构 企业 ， 确 保 企业 发 
展 战略 能 够 真正 落地 实施 。 

企业 架构 是 复杂 的 系统 工程 。 企 业 通常 需要 定期 进行 外 部 环境 分 析 和 内 部 资源 评估 ， 
制定 中 长 期 发 展 战略 。 因 此 ， 要 求 企业 架构 模型 能 够 完成 对 目标 和 现状 的 分 解 要 求 ， 通 过 
差距 分 析 ， 为 企业 制订 明确 的 行动 计划 。 

企业 的 业务 活动 往往 需要 不 同 部 门 、 不 同 角色 、 不 同 地 域 的 人 员 共 同 参与 ， 比 如 市 声 
营销 部 门 的 营销 人 员 、 产 品 销售 部 门 的 销售 人 员 、 客 户 服务 部 门 的 客服 人 员 、 采 购 部 门 的 
采购 人 员 、 工 程 建设 部 门 的 建设 和 人员、 维护 部 门 的 维护 人 员 等 。 此 外 ， 人 力 、 财 务 、 资 产 
等 职能 部 门 也 需要 共同 参与 ， 如 果 没有 良好 的 企业 架构 ， 则 很 难保 证 企业 发 展 战略 能 够 有 
效 地 贯彻 到 企业 建设 与 运营 活动 之 中 。 可 见 ， 企 业 架 构 在 企业 中 的 重要 地 位 。 

物 联网 、 移 动 互联 网 、 云 计算 等 产业 的 发 展 ， 为 全 社会 生产 了 越 来 越 多 的 数据 ， 为 了 
体现 这 些 数据 的 新 特征 ， 业 界 将 其 定义 为 “大 数据 "如果 说 煤 、 石 油 、 天 然 气 等 是 自然 界 
提供 的 能 源 ， 那 么 大 数据 则 是 信息 社会 提供 的 新 型 能 源 。 对 于 企业 而 言 ， 大 数据 成 为 企业 
认识 市 场 、 客 户 和 自身 的 核心 资产 。 

大 数据 虽然 魅力 无 穷 , 但 是 如 果 企业 不 能 正确 认识 和 利用 大 数据 , 那么 对 于 企业 而 言 ， 
数据 仍然 是 一 推 废钢 烂 铁 。 关 于 大 数据 ， 企 业 需要 引发 许多 思考 ， 包 括 大 数据 如 何在 业务 
活动 中 发 挥 作用 ? 如 何 发 现 和 定义 大 数据 服务 ?如 何 设计 大 数据 服务 ? 如何 部 署 大 数据 服 
务 ? 如 何 持续 地 运营 大 数据 服务 ? 如 何 有 效 地 管理 大 数据 ? 大 数据 服务 在 企业 架构 中 如 何 
承载? 等 等 

可 见 ， 对 于 企业 来 讲 ， 要 想 充分 理解 和 运用 大 数据 服务 ， 并 不 是 一 件 非常 简单 的 事情 。 
为 了 便于 读者 快速 地 掌握 本 书 中 关于 大 数据 运营 的 思路 和 方法 ， 笔 者 在 此 概括 性 地 说 明 
一 下 


大 数据 来 源 于 自然 环境 和 人 类 社会 ， 是 对 自然 环境 、 人 类 特征 和 行为 的 记录 ， 其 原理 
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是 借助 数据 来 把 握 规 律 ， 进 而 实现 预测 未 来 和 支持 决策 的 目的 。 因 此 ， 可 以 将 业务 活动 分 
为 两 类 : 负责 执行 的 业务 活动 和 支持 决策 的 业务 活动 ， 大 数据 服务 属于 支持 决策 的 业务 

企业 架构 框架 从 空间 角度 来 架构 设计 企业 , 由 于 决策 和 执行 是 业务 活动 , 是 一 体 两 面 、 
不 可 分 割 的 ， 因 此 大 数据 服务 与 面向 操作 的 事务 型 活动 一 样 ,在 企业 架构 的 10 个 维度 〈 业 
务 过 程 、 信 息 、 应 用 、 功 能、 数据 、 集 成 、 技 术 、 部 署 、 安 全 、 治 理 ) 需要 相互 配合 ， 共 
同 支撑 完成 从 企业 发 展 战略 到 运营 的 转换 。 

大 数据 服务 在 时 间 维度 上 体现 为 从 需求 分 析 、 架 构 设 计 、 开 发 测试 、 部 署 上 线 到 持续 
优化 的 过 程 。 不 同 于 面向 操作 的 事务 型 应 用 ， 大 数据 服务 需求 来 源 于 业务 需求 和 大 数据 两 
者 的 结合 ， 业 务 需求 是 待 决 的 决策 问题 ， 而 大 数据 则 是 解决 问题 的 数据 基础 。 在 架构 设计 
方面 ， 大 数据 服务 重点 关注 数据 的 全 生命 周期 管理 和 元 数据 管理 ， 大 数据 是 长 期 历史 数据 
的 积累 ， 应 当 根据 应 用 需求 和 管理 要 求 制定 数据 迁移 策略 ， 元 数据 相当 于 分 析 人 员 数 据 字 
典 。 在 持续 优化 阶段 ， 企 业 需 要 借助 监控 手段 ， 实 时 监控 大 数据 的 活性 和 运行 状况 ， 不 断 
丰富 和 完善 数据 源 ， 提 升 数据 质量 ， 不 断 提升 决策 支持 的 及 时 性 和 正确 性 。 

本 书 是 笔者 的 处 女 作 ， 由 于 个 人 认识 水 平和 时 间 的 限制 ， 不 足 之 处 县 请 批评 指正 。 希 
望 本 书 能 够 让 读者 更 加 全 面 、 系 统 地 掌握 基于 大 数据 架构 企业 的 思路 与 方法 ， 充 分 挖掘 大 
数据 资源 的 潜力 ， 赢 在 充满 希望 的 大 数据 时 代 ! 
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第 1 章 筑 梨 : 来 自 建 筑 行业 的 启示 … 

1.1 谋划 : 像 盖 房 子 一 样 架构 企业 - 
以 企业 发 展 战略 为 指导 ， 结 合 业 务 架构 与 技术 架构 ， 按 照 系统 的 方法 论 ， 将 企业 架构 绘制 成 一 

座 10 个 维度 的 小 房子 。 

1.2 ”过程 : 企业 是 业务 活动 的 集合 体 - 
按照 分 层 分 类 的 方法 ， 从 战略 建设、 产品 到 运营 的 时 间 维和 从 市 场 需求 到 资源 供给 的 空间 维 

进行 设计 ， 业 务 过 程 框架 表现 为 时 空 交叉 的 矩阵 形式 。 

1.3 信息: 企业 业务 活动 的 隋 载 者 2 
信息 与 业务 过 程 是 一 体 的 、 不 可 分 割 的 ， 业 务 过 程 是 动态 的 ， 信 息 是 静态 的 ， 两 者 相互 配合 ， 

组 成 了 各 种 各 样 的 业务 活动 。 

1.4 应 用 : 业务 与 技术 之 桥 Ee 汪 27 
应 用 即 能 力 ， 它 填 平 了 业务 与 技术 之 间 的 鸿沟 ， 是 业务 与 技术 之 桥 ， 应 用 框架 又 称 为 能 力 蓝图 ， 

体现 了 业务 人 员 与 技术 人 员 的 共同 愿景 。 


1.5 功能: 特定 任务 的 执行 单 二 ee 31 
功能 以 应 用 /能 力 需求 为 输入 ， 采 用 信息 技术 手段 ， 将 能 力 需求 转化 为 用 户 可 以 使 用 的 、 具 有 特 

定 规格 要 求 的 单元 

1.6 数据: 信息 社会 的 永恒 记忆 33 


“数据 ”是 经 过 电子 设备 采集 并 存储 后 的 载体 ， 从 业务 需求 到 技术 实现 , 通过 概念 模型 和 逻辑 模 
型 来 定义 数据 及 其 关系 ， 通 过 物理 模型 来 实现 对 数据 的 承载 。 
1.7 集成 :价值 网 络 时 代 的 整合 者 37 
集成 的 目的 就 是 将 整体 中 的 各 个 部 分 粘 合 起 来 , 借助 业务 服务 ， 可 以 实现 对 业务 过 程 、 信 息 、 
应 用 、 数 据 、 技 术 等 元 素 的 有 效 集 成 。 
1.8 技术。 改变 世界 的 源 动力 -near 40 
构建 技术 架构 的 目标 是 保障 系统 的 可 靠 性 、 可 用 性 、 可 伸缩 性 、 高 性 能 以 及 安全 性 ， 分 层 、 组 
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件 化 和 开放 是 技术 架构 设计 的 主要 方法 。 
L9 部 署 s 社 必 机 平稳 着 陆 - ii 45 
部 署 是 设计 方案 和 系统 实现 的 落地 ， 它 将 处 于 不 同 层级 的 “硬件 "和 “软件 "有 机 地 结合 起 来 ， 最 
终 实现 可 供用 户 使 用 的 系统 和 服务 。 
1.10 安全 ; 都 是 开放 惹 的 祸 ………………… 54 
坚持 开放 就 必然 会 带 来 安全 问题 ， 可 以 沿 着 系统 架构 的 “ 云 + 管 + 端 " 思 路 来 分 析 引 起 安全 问题 的 
根源 并 提供 整体 安全 解决 方案 。 
1.11 治理 :没有 规矩 不 成 方圆 56 
治理 是 对 业务 、 应 用 与 技术 的 管理 ， 通 过 组 织 、 人 员 、 流 程 来 保障 ， 由 于 操作 型 应 用 与 分 析 型 
应 用 的 特点 不 同 ， 治 理 重点 也 不 一 样 。 


1.12 本章 主 要 内 容 回顾 58 
第 2 章 联姻 : 当 企 业 架 构 爱 上 大 数据 二 60 
2.1 大 数据 与 决策 ;选择 远 比 努力 更 重要 -PP 61 


分 析 后 形成 的 决策 决定 了 企业 发 展 的 方向 与 道路 ， 影 响 深远 ， 正 确 的 决策 会 让 企业 靠近 成 功 ， 
而 错误 的 决策 必然 会 导致 失败 。 
3 张 开 想 象 的 翅膀 : 大 数据 服务 畅想 Re 62 
技术 是 手段 ， 业 务 发 展 才 是 最 终 目 标 ， 企 业 首先 需要 从 战略 、 建 设 、 产 品 、 客 户 、 供 应 商 、 人 
才 物 等 业务 视角 畅想 可 能 需要 的 大 数据 服务 


2 对 导 久 座 : 定位 类 数据 发 为 以 -ii 81 
立足 于 业务 过 程 框架 和 业务 过 程 块 ， 不 仅 能 够 有 利于 快速 发 现 新 的 大 数据 服务 ， 又 便于 从 业务 
角度 来 管理 越 来 越 多 的 大 数据 服务 。 


2.4 ”能力 落地 : 大 数据 服务 数据 源 及 其 关键 实现 活动 - -90 
数据 源 是 大 数据 服务 的 “ 根 ”"， 决 定 了 大 数据 服务 的 能 力 ， 可 以 基于 可 能 获取 到 的 数据 源 ， 初 步 
确定 实现 大 数据 服务 的 关键 活动 。 


25 主要 内 容 回 网 二 ee 108 
第 3 章 孕育 : 凡事 预 则 立 ， 不 预 则 废 …………… 109 
3 大 甸 所 服务 及 赂 # 天 次 据 决定 大 来 来 eine ii 


数据 服务 战略 既是 企业 面向 外 部 市 场 竞争 的 需要 ， 又 是 企业 释放 自身 能 力 的 内 在 需求 ， 是 企业 


长 远 发 展 的 必然 选择 。 


3.2 ”大 数据 服务 设计 方法 论 : 方法 比 努 力 更 重要 -pp 122 
首先 分 析 大 数据 可 能 具备 的 能 力 ， 然 后 再 分 析 问 题 域 的 特点 ， 最 后 结合 大 数据 能 力 与 问题 域 特 

点 ， 形 成 大 数据 服务 需求 。 

3.3 ”大 数据 服务 架构 设计 ， 在 平衡 中 实现 完美 


大 数据 服务 运营 框架 从 业务 角度 出 发 ， 体 现 业 务 到 数据 的 互动 过 程 ， 大 数据 服务 应 用 框架 从 能 
力 角 度 出 发 ， 体 现 了 大 数据 的 管理 过 程 。 
3.4 大 数据 服务 模型 设计 : 默默 无 闻 的 贤 内 助 139 
行 成 于 思 而 毁 于 随 ， 面 向 操作 的 数据 模型 侧重 对 “ 行 ”的 支持 ， 而 面向 分 析 的 数据 模型 则 侧重 
对 “ 思 ” 的 支持 。 


3.5 ”大 数据 服务 容量 设计 : 海纳百川 ， 有 容 乃 大 156 
与 事务 处 理应 用 相 比 ， 大 数据 服务 属于 分 析 处 理应 用 ， 由 于 两 者 的 数据 处 理 特点 不 同 ， 因 此 容 

量 估算 方法 也 有 一 定 的 区 别 。 

3.6 ”大 数据 服务 过 程 设计 ， 卓 有 成 效 的 管理 者 ee 160 


大 数据 服务 过 程 包括 服务 目录 管理 、 容 量 管理 、 可 用 性 管理 、 连 续 性 管理 、 服 务 等 级 管理 、 信 ， 
息 安全 管理 、 供 应 商 管理 等 。 


3.7 大 数据 服务 组 织 设计 ， 分 工 不 分 家 164 
按照 专业 化 分 工 和 关注 点 分 离 的 原则 ， 大 数据 服务 业务 分 析 师 和 大 数据 服务 系统 架构 师 是 两 个 

非常 重要 的 角色 。 
8 主要 内 容 回 国宝 165 
第 4 章 “ 分 娩 ， 从 幕后 到 台 前 的 华丽 转身 168 
Ws | 170 


大 数据 服务 转换 充满 了 期 待 又 存在 着 风险 和 挑战 ， 需 要 综合 权衡 转换 成 本 与 收益 、 转 换 速 度 与 
风险 。 
42， 大 数据 服务 转换 过 程 rr 171 
大 数据 服务 转换 过 程 包括 转换 计划 、 变 更 管理 、 资 产 与 配置 管理 、 发 布 与 部 署 管理 、 验 证 与 测 
试 、 评 估 以 及 知识 管理 。 
4.3 ”大 数据 服务 转换 组 织 设计 178 
大 数据 服务 转换 中 涉及 的 角色 主要 包括 资产 管理 员 、 配 置 管理 员 、 配 置 分 析 师 、 部 署 管理 员 、 
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测试 管理 员 。 他 们 默默 无 闻 ， 却 担负 着 将 梦想 变 为 现实 的 重任 。 
44 主要 内 容 回 顾 rss en ren 和 人 nn saraneaeannennananaenannnrnertnrnennatntnrnoatnnsaeoa 
第 5 章 培育 : 调整 巩固、 充实 、 提 高 
5.1 大 数据 服务 运营 : 多 、 快 、 好 、 省 - 
大 数据 服务 运营 既 包 括 事件 管理 、 事 故 管理 、 请 求实 现 、 问 题 管 理 、 访 问 管理 等 过 程 ， 又 包括 
服务 台 、 技 术 管理 、 应 用 管理 等 职能 
5.2 ”大 数据 服务 改进 :自强 不 息 止 于 至 善 190 
大 数据 服务 不 是 一 跌 而 就 的 ， 是 需要 一 个 不 断 改 进 完善 的 过 程 ， 发 现 问题 和 差距 并 持续 改进 是 
提升 企业 决策 能 力 的 唯一 途径 。 
入 主要 内 容 回 顾 Ie 交 的 全 192 


第 6 章 腾飞 : 在 实践 中 检验 真理 … 
6.1 大 数据 在 电信 行业 的 应 用 … 
通信 大 数据 既 包 含 真实 可 靠 的 用 户 属性 信息 ， 又 包括 通话 、 上 网 等 用 户 实时 行为 信息 ， 可 以 反 
映 个 体 与 群体 的 社交 关系 、 需 求 偏好 、 行 为 特征 等 。 
6.2 ”大 数据 在 金融 行业 的 应 用 203 
金融 的 本 质 是 信用 ， 其 作用 是 全 社会 资源 配置 ， 其 管理 的 难点 是 风险 ,应当 引 全 社会 资源 之 水 ， 
灌溉 资金 供需 之 田 ， 收 获 效率 提升 与 风险 可 控 之 果 。 
6.3 ”大 数据 在 互联 网 行业 的 应 用 211 
互联 网 强调 平等 、 协 作 、 去 中 心 化 ， 通 过 搜索 、 社 交 、 购 物 等 互联 网 应 用 沉淀 下 来 的 海量 数据 ， 
成 为 推动 社会 创新 发 展 的 催化 剂 。 
6.4 大 数据 与 隐秘 保 扫 7 214 
信息 共享 和 数据 开放 既是 把 双 刃 剑 ， 能 否 为 造福 人 类 关键 要 看 我 们 的 态度 和 行动 ， 只 有 构建 科 
学 的 组 织 、 制 度 和 流程 ， 才 能 趋 利 避 害 ， 实 现 共 赢 。 


6.5 大 数据 相关 热点 话题 pA i 
云 计算 为 大 数据 提供 弹性 的 基础 设施 ， 移 动 互 联网 、 物 联网 、 电 子 商务 既是 大 数据 的 提供 者 ， 

又 是 大 数据 服务 的 消费 者 。 
866 主要 内 容 回 题 二 eeeeee een 224 
第 7 宇 和 党 信 系 8 以 市 完了 厅 证 227 
KL 企业 架构 : 窟 了 略 与 二 党 之 桥 一 ee 229 
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从 不 同 层 次 、 不 同 视角 刻画 企业 ， 形 成 既 能 够 承接 企业 发 展 战略 ， 又 能 够 指导 企业 日 常 运营 的 
企业 架构 框架 。 
7.2 Frameworx 框架 体系 : 电信 行业 的 灯塔 
业务 过 程 框架 、 信 息 框架 、 应 用 框架 、 系 统 集成 框架 从 四 个 不 同 视角 定义 业务 、 能 力 以 及 业务 
服务 需求 ， 为 四 位 一 体 的 框架 体系 架构 。 
7.3 ”ITIL/ITSM 框架 体系 : IT 行业 的 指南 针 245 
以 服务 方式 管理 IT， 采 用 全 生命 周期 的 管理 方式 ， 分 为 服务 战略 、 服 务 设 计 、 服 务 转换 、 服 务 
运营 、 服 务 持 续 优化 5 个 阶段 。 


二 主要 六 窜 回顾 站 258 
第 8 章 ”大 数据 技术 : 他 山 之 石 ， 可 以 攻 玉 ee 261 
gl 开源 框架 Hadoop nn 263 


是 一 个 基于 分 布 式 文件 系统 HDFS 的 框架 体系 ， 包 括 离线 计算 引擎 MapReduce、 实 时 计算 引擎 
Storm、 内 存 计算 引擎 Spark 等 。 


8.2 ”大 数据 存储 技术 267 
大 数据 借助 分 布 式 数据 库存 储 ， 通 过 软件 算法 保证 数据 可 靠 性 ， 分 布 式 / 列 式 数据 库 需要 与 关系 

型 数据 结合 起 来 使 用 。 

8.3 大 数据 分 析 技 术 pp 


大 数据 典型 分 析 技 术 为 离线 计算 技术 MapReduce， 它 以 大 数据 块 为 操作 单位 ， 首 先 对 数据 进行 
微分 Map， 然 后 再 对 集合 内 数据 进行 聚 类 运算 。 


8.4 大 数据 展示 技术 285 
从 多 个 维度 、 多 个 视角 、 全 方位 、 直 观 地 发 现 大 数据 背后 隐藏 的 规律 ， 相 当 于 大 数据 挖 据 的 “最 
后 一 公里 ”。 


8.5 主要 内 容 回顾 -… 


附录 A 重点 概念 及 其 定 入 300 
参考 雹 二 em 305 
后 记 : 愿 大 数据 运 区 成 为 二 种 思维 广 式 seeinatenenee ie 308 


从 企业 战略 制定 到 战略 实施 是 一 个 复杂 的 过 程 ， 那 些 高 大 上 的 咨询 成 果 难 以 落地 成 为 
困扰 众多 企业 管理 者 的 难题 。 因 此 ， 从 企业 战略 出 发 ， 多 层次 、 多 维度 、 体 系 化 地 设计 企 
业 架 构 ， 成 为 保障 企业 战略 落地 的 有 效 手段 。 企 业 架 构 有 效 衔接 了 企业 发 展 战略 、 基 础 设 
施 建 设 、 生 产 运 营 、 企 业 管 理 等 多 个 环节 ， 并 以 服务 能 力 为 中 介 ， 有 效 地 衔接 了 业务 与 技 
术 ， 成 为 企业 战略 落地 实施 的 指南 针 。 

大 数据 时 代 的 到 来 ， 为 企业 提供 了 另外 一 种 提升 核心 竞争 力 的 方式 和 手段 。 企 业 可 以 
通过 吸纳 、 整 合 和 挖掘 隐 藏 在 大 数据 背后 的 规律 ， 理 解 和 把 握 客户 需求 ， 按 需 生 产 ， 同 时 
运用 互联 网 思维 ， 有 效 匹 配 能 力 需 求 和 资源 供给 ， 以 最 具有 成 本 效益 的 方式 提供 产品 和 
服务 。 

大 数据 不 能 脱离 企业 业务 活动 而 单独 发 挥 作用 ， 企 业 应 当 基于 企业 架构 完成 大 数据 服 
务 的 设计 和 运营 ， 这 样 才能 让 大 数据 找到 立足 点 和 归宿 。 以 电信 运营 商 为 例 ， 每 月 都 会 产 
生 PB 数量 级 的 通话 行为 和 上 网 行为 记录 ， 如 此 大 量 的 通信 业务 使 用 记录 中 蕴藏 着 巨大 的 
外 量 和 价值 ， 人 们 既 可 以 基于 通信 行为 分 析 用 户 偏好 ， 实 现 精准 化 营销 ， 也 可 以 结合 电信 
运营 商 的 基站 使 用 情况 、 用 户 价值 、 应 用 价值 等 辅助 完成 无 线 网 络 的 规划 设计 。 当 然 ， 通 
信 大 数据 也 可 以 作为 资产 对 外 销售 , 更 大 程度 地 发 挥 通 信 大 数据 的 价值 。 从 某 种 程度 上 说 ， 
大 数据 的 潜力 取决 于 企业 的 想象 力 。 

随 着 企业 对 大 数据 理解 的 日 益 深入 ， 大 数据 服务 的 数量 势必 会 不 断 增 多 ， 有 效 管理 和 
发 现 新 的 大 数据 服务 逐渐 成 为 挑战 性 的 难题 。 一 方面 ， 人 们 可 以 从 企业 业务 活动 出 发 ， 分 
析 企 业 业 务 活动 中 的 决策 环节 需要 什么 决策 输入 ， 另 一 方面 ， 也 可 以 从 大 数据 出 发 ， 分 析 
大 数据 的 决策 支持 能 力 ， 两 种 方法 合 在 一 起 就 能 更 加 快速 地 发 现 新 的 大 数据 服务 。 这 样 不 
但 解决 了 大 数据 服务 难以 管理 的 问题 , 而 且 可 以 做 到 有 的 放 矢 , 挖掘 出 更 多 的 大 数据 服务 。 

企业 业务 活动 可 以 分 为 两 大 类 。 一 类 属于 操作 型 活动 ， 例 如 信息 维护 、 订 单 提交 、 工 
单 流转 等 ， 这 类 活动 的 关键 在 于 “ 行 ”” 追求 执行 的 “正确 ” 另 一 类 属于 分 析 型 活动 ， 例 
如 客户 偏好 分 析 、 资 源 消耗 分 析 、 财 务 分 析 等 ， 这 类 活动 的 关键 在 于 “ 思 ”， 追 求 “ 正 确 ” 
的 执行 。 大 数据 用 于 支持 分 析 型 活动 ， 保 证 操作 型 活动 能 够 “正确 ”执行 。 
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要 使 大 数据 能 够 更 好 地 支持 企业 决策 活动 ， 需 要 企业 具备 良好 的 大 数据 运营 能 力 ， 包 
括 获取 更 多 的 数据 源 ， 保 证 数据 的 准确 性 、 及 时 性 ， 等 等 。 可 见 ， 大 数据 服务 从 创意 到 形 
成 并 非 一 朝 一 夕 的 ， 是 一 个 长 期 的 、 不 断 探 索 的 过 程 ， 企 业 只 有 掌握 运营 大 数据 的 方法 ， 
才能 够 发 挥 大 数据 的 价值 。 

为 了 展现 从 企业 战略 到 大 数据 运营 的 全 过 程 ， 本 书 按照 一 个 人 从 成 家 立业 到 奋斗 腾飞 
的 过 程 ， 将 内 容 分 为 筑 策 、 联 姻 、 孕 育 、 分 娩 、 培 育 、 腾 飞 6 个 阶段 ， 像 经 营 家 庭 一 样 经 
营 大 数据 。 

第 一 阶段 为 “ 筑 菜 ” 阶 段 ， 目 标 是 完成 企业 的 整体 架构 设计 。 为 了 全 面 、 系 统 化 地 展 
现 企业 架构 模型 ， 本 书 从 企业 战略 角度 出 发 ， 从 10 个 视角 对 企业 进行 了 架构 设计 ， 这 10 
个 视角 既 相互 区 别 又 相互 联系 ， 宛 似 一 座 小 房子 ， 因 此 取 名 为 “ 筑 菜 ”， 意 味 着 企业 要 像 构 
筑 一 座 房 子 那样 严谨 ， 以 便 让 企业 的 各 个 部 分 能 够 协同 配合 ， 发 挥 合力 。 

第 二 阶段 为 “联姻 ”阶段 ， 目 的 是 解决 大 数据 与 企业 架构 结合 问题 。 大 数据 只 有 与 企 
业 业 务 活动 有 机 结合 才能 发 挥 作用 , 业务 活动 是 企业 架构 的 业务 输入 , 业务 活动 中 既 有 “ 执 
行 ”又 有 “决策 ”， 大 数据 的 作用 就 是 帮助 企业 快速 、 准 确 地 完成 “决策 ”。 大 数据 与 企业 
架构 的 结合 是 一 体 化 、 不 可 分 割 的 过 程 ， 就 好 比 人 们 现实 生活 中 的 婚姻 ， 男 女 双方 在 构筑 
更 加 美好 的 生活 过 程 中 都 有 贡献 ， 缺 一 不 可 ， 因 此 第 二 阶段 取 名 为 “联姻 ”。 

第 三 阶段 为 “孕育 ”阶段 ， 目 的 是 解决 大 数据 服务 嚼 化 问题 。 操 作 型 应 用 通常 是 先 有 
需求 后 有 数据 ， 而 大 数据 应 用 则 是 先 有 数据 后 有 需求 ， 两 者 正好 相反 。 因 此 ， 对 大 数据 服 
务 的 需求 分 析 和 设计 与 操作 型 应 用 采用 不 同 的 思路 和 方法 。 大 数据 服务 设计 是 一 个 从 大 数 
据 能 力 朝 着 待 解决 问 题 不 断 靠近 、 反 复 迭 代 的 过 程 ， 整 个 过 程 漫长 而 充满 期 待 ， 好 比 精子 
寻找 卵子 一 样 充 满 风险 和 挑战 ， 因 此 将 这 一 阶段 称 为 “孕育 ”。 

第 四 阶段 为 “分 娩 ” 阶 段 ， 是 大 数据 服务 设计 和 开发 成 果 向 大 数据 运营 转换 的 阶段 。 
不 同 于 操作 型 应 用 的 转换 过 程 , 这 个 阶段 会 经 过 多 次 调整 和 完善 , 直至 达到 最 满意 的 答案 ， 
例如 数据 清洗 、 数 据 转换 、 数 据 装载 、 数 据 稽核 、 模 型 调整 、 算 法 优化 等 。 此 阶段 类 似 于 
十 月 怀胎 后 的 分 娩 过 程 ， 也 许 十 分 顺利 ， 也 许 要 经 历 多 次 镇 痛 ， 但 是 只 要 保持 耐心 ， 随 机 
应 变 ， 终 究 会 得 到 满意 的 结果 。 

第 五 阶段 为 “培育 ”阶段 。 大 数据 服务 并 不 是 一 劳 永 逸 的 ， 企 业 外 部 竞争 环境 总 是 不 
断 变 化 的 ， 大 数据 的 数据 源 、 数 据 时 效 性 等 也 在 不 断 发 生变 化 ， 这 些 都 需要 企业 重新 审视 
大 数据 服务 ， 重 新 调整 分 析 模 型 和 算法 ， 这 好 比 家 庭 培育 孩子 ， 总 是 需要 根据 社会 要 求 来 
调整 培育 方向 ， 使 得 孩子 更 能 够 适应 社会 发 展 的 需要 。 这 一 阶段 取 名 为 “培育 ”， 意 思 是 对 
大 数据 服务 的 “培养 和 教育 ”。 
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第 六 阶段 为 “腾飞 ”阶段 。 在 这 一 阶段 ， 大 数据 的 价值 完全 得 以 体现 ， 可 以 说 ， 经 过 
前 面 几 个 艰难 困苦 的 阶段 ， 大 数据 服务 终于 可 以 扬眉吐气 了 。 大 数据 魅力 无 穷 ， 取 得 了 一 
个 又 一 个 辉煌 的 成 果 ， 因 此 本 阶段 取 名 为 “腾飞 ”。 

此 外 ,本 书 内 容 的 体系 结构 和 方法 论 主要 参考 了 Frameworx/NGOSS、ITIL/ITSM 两 个 
国际 标准 规范 。Frameworx/NGOSS 方法 论 解决 业务 活动 与 大 数据 的 结合 问题 ，ITIL/IITSM 
方法 论 则 侧重 解决 大 数据 服务 从 设计 、 转 换 到 运营 的 衔接 问题 。 

大 数据 技术 是 保障 大 数据 应 用 落地 的 重要 手段 ， 在 本 书 最 后 一 部 分 专门 分 析 大 数据 相 
关 技 术 ， 如 Hadoop、Oracle、R、GIS、Android 等 的 原理 和 方法 ， 使 得 大 数据 运营 体系 更 
加 完整 。 

本 书 中 提出 的 大 数据 运营 方法 论 以 支持 服务 型 企业 为 主 ， 同 样 也 可 以 作为 政府 机 关 、 
事业 单位 、 科 研 院 所 等 构建 和 运营 大 数据 服务 的 参考 资料 ， 具 有 良好 的 行业 通用 性 。 本 书 
主要 以 电信 、 金 融和 互联 网 3 个 行业 为 主线 进行 分 析 。 

本 书面 向 的 读者 对 象 不 但 包括 企业 战略 层面 的 管理 人 员 ， 如 企业 的 总 经 理 (CEO)、 
信息 总 经 理 〈CIO)、 技 术 总 监 《CTO) 等 ， 同 样 适用 于 项 目 经 理 、 系 统 架 构 师 、 数 据 分 析 
师 、 开 发 工程 师 、 测 试 工程 师 等 掌握 大 数据 运营 过 程 的 人 员 。 
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信息 通信 技术 、 交 通 技术 的 发 展 促进 了 经 济 的 全 球 化 和 一 体 化 ， 信 息 的 自由 流动 实现 
了 各 种 资源 在 全 社会 范围 内 的 配置 ， 社 会 专业 化 分 工 更 加 细致 ， 社 会 经 济 更 加 具有 效率 和 
活力 。 

科学 技术 在 推动 社会 发 展 的 同时 ， 也 让 企业 处 于 更 加 不 确定 的 经 营 环境 之 中 。 企 业 需 
要 具备 敏捷 地 响应 变化 的 能 力 ， 需 要 解决 好 发 展 战略 到 日 常 运营 的 过 渡 问 题 ， 需 要 解决 好 
业务 与 技术 的 衔接 问题 ， 最 终 形成 一 个 环境 自 适应 的 、 能 力 不 断 优化 完善 的 管理 体系 。 

企业 要 解决 好 以 上 问题 ,首先 需要 具备 以 下 思维 方式 ,实施 系统 化 的 架构 设计 ， 主 要 包 
括 5 个 方面 : 

第 一 ， 要 认识 到 商业 模式 已 经 从 价值 链条 转变 为 价值 网 络 模 式 。 价 值 网 络 模式 要 求 企 
业 能 够 在 社会 分 工 中 把 握 好 适合 自身 发 展 的 关键 环节 ， 具 备 良 好 的 集成 能 力 ， 实 现 业 务 能 
力 的 组 件 化 和 服务 化 。 

第 二 , 要 认识 到 IT 架构 模式 已 经 从 面向 单一 系统 转变 为 面向 服务 的 模式 。 竖 井 式 的 系 
统 设计 使 得 组 织 业务 流程 流转 不 畅 、 信 息 难以 充分 共享 。 面 向 服务 的 架构 模式 将 业务 能 力 
和 IT 能 力 视 为 一 种 服务 ， 使 得 企业 内 部 和 外 部 均 可 以 通过 服务 的 方式 进行 交互 。 

第 三 ， 要 认识 到 数据 是 推动 企业 发 展 的 核心 资产 。 与 传统 的 资产 不 同 ， 数 据 可 以 帮助 
企业 及 时 、 准 确 地 认识 市 场 、 客 户 、 供 应 商 、 合 作 伙 伴 、 员 工 等 的 需求 并 采取 适当 的 行动 ， 
可 以 说 ， 大 数据 是 企业 未 来 发 展 的 生命 线 。 

第 四 ， 要 正确 认识 操作 活动 和 分 析 活 动 之 间 的 密切 关系 。 操 作 活动 好 比 人 的 四 肢 ， 主 
要 负责 执行 ， 而 分 析 活 动 则 好 比 人 的 大 脑 ， 负 责 思 考 和 决策 。 正 确认 识 两 者 之 间 的 关系 ， 
可 以 使 企业 从 业务 活动 的 角度 出 发 ， 将 两 类 活动 连接 起 来 。 

第 五 ， 要 正确 认识 职能 、 过 程 以 及 全 生命 周期 管理 之 间 的 关系 。 职 能 管理 面向 企业 某 
一 特定 功能 ， 过 程 管理 采用 业务 活动 分 类 方法 ， 将 企业 业务 活动 分 解 为 多 个 相互 配合 的 过 
程 块 ， 过 程 块 之 间 相 互 配合 实现 不 同 的 职能 。 全 生命 周期 管理 要 求 从 事物 产生 、 发 展 、 消 
退 、 消 亡 的 全 过 程 思考 问题 ， 让 认识 更 加 全 面 。 
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大 数据 运营 
服务 型 企业 架构 新 思维 

有 了 设计 良好 的 架构 ， 企 业 就 具备 了 连接 战略 与 运营 、 业 务 与 技术 的 桥梁 和 纽带 ， 才 
能 够 将 发 展 战略 有 效 贯通 到 企业 的 日 常 运营 活动 之 中 ， 同 时 也 能 够 实现 业务 需求 与 技术 支 
撑 的 无 颖 对接 。 

大 数据 服务 与 操作 型 服务 相 比 ， 既 有 自身 的 独特 之 处 ， 又 有 着 密切 的 联系 。 

第 一 , 大 数据 服务 的 目标 是 支持 决策 的 制定 , 而 操作 型 服务 用 于 支持 业务 操作 的 完成 。 

第 二 ， 与 操作 型 服务 相 比 ， 大 数据 服务 对 于 系统 的 响应 性 要 求 较 低 ， 操 作 型 服务 对 响 
应 时 间 通 常 要 求 在 秒 级 。 

第 三 ， 大 数据 服务 的 数据 操作 主要 是 读 操作 ， 而 操作 型 服务 主要 为 写 操作 ， 要 求 事务 
必须 是 完整 的 。 数 据 存 取 特 点 不 同 ， 数 据 架构 方案 也 不 同 。 

第 四 ， 大 数据 服务 依赖 的 数据 规模 大 而 且 数 据 量 会 不 断 增 加 ， 要 求 存储 架构 具有 良好 
的 线性 扩展 能 力 ， 通 过 横向 基础 设施 的 扩展 ， 就 可 以 实现 数据 存 取 能 力 的 线性 提升 。 

第 五 ， 大 数据 服务 更 像 是 一 个 探索 发 现 的 过 程 ， 大 数据 服务 需要 持续 提升 数据 的 完整 
性 和 准确 性 ， 而 操作 型 服务 则 更 关注 于 对 业务 需求 的 满足 、 易 用 性 以 及 操作 效率 。 

大 数据 服务 与 操作 型 服务 也 有 着 密切 的 联系 。 

第 一 ， 大 数据 服务 的 数据 源头 是 业务 操作 和 业务 使 用 日 志 ， 无 论 这 些 数据 是 企业 内 部 
应 用 产生 的 还 是 其 他 组 织 产生 的 。 

第 二 ， 大 数据 服务 与 操作 型 服务 业务 活动 是 一 体 的 ， 不 可 分 割 。 大 数据 服务 负责 分 析 
判断 ， 而 操作 型 服务 则 负责 执行 ， 两 者 是 “ 知 ” 与 “ 行 ”的 关系 。 

第 三 ， 大 数据 服务 与 操作 型 服务 都 支持 战略 、 战 术 、 执 行 3 个 层次 的 业务 活动 。 高 层 
级 业务 活动 重点 在 于 确定 方向 和 路 线 ， 要 求 大 数据 服务 能 够 提供 全 面 、 准 确 的 分 析 结 果 ， 
而 低层 级 业务 活动 重点 则 在 于 执行 效率 ， 要 求 大 数据 服务 能 够 快速 地 反馈 分 析 结果 。 

在 企业 的 各 种 业务 活动 中 ， 虽 然 大 数据 服务 与 操作 型 服务 起 的 作用 不 同 ， 但 是 两 者 的 
实现 思路 却 是 非常 相似 的 ， 都 需要 经 历 需求 分 析 、 架 构 设计 、 功 能 开发 、 测 试 部 署 、 运 行 
维护 、 优 化 完善 、 管 理 治 理 的 过 程 。 

企业 架构 可 以 衔接 发 展 战略 和 日 常 运营 ， 从 整个 业务 活动 的 角度 ， 大 数据 服务 与 操作 
型 服务 是 不 可 分 割 的 , 因此 大 数据 服务 同 操作 型 服务 一 样 , 需要 从 企业 架构 的 10 个 视角 进 
行 分 析 、 设 计 、 开 发 、 测 试 以 及 管理 。 

操作 型 服务 的 需求 分 析 与 设计 输入 是 企业 提出 的 业务 需求 ， 而 大 数据 服务 在 需求 分 析 
与 设计 方面 的 输入 则 是 待 解决 的 决策 问题 和 大 数据 基础 。 

当 大 数据 服务 按照 要 求 完成 设计 和 开发 工作 后 ， 同 样 需要 从 开发 测试 阶段 转换 到 上 线 
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运营 阶段 ， 正 式 支持 企业 的 生产 经 营 。 
处 在 上 线 运营 状态 的 大 数据 服务 并 不 能 一 劳 永 逸 ， 需 要 进行 不 断 的 优化 完善 。 通 过 对 
大 数据 服务 在 数据 采集 、 集 成 、 清 洗 、 转 换 、 装 载 等 不 同 阶段 的 观察 ， 改 善 数据 质量 ， 提 
升 系统 的 可 靠 性 、 可 用 性 和 性 能 , 根据 数据 的 活跃 度 和 管理 要 求 采 取 不 同 的 数据 迁移 策略 。 
下 面 以 筑 梨 、 联 姻 、 孕 育 、 分 娩 、 培 育 、 腾 飞 6 个 阶段 为 主线 ， 分 别论 述 大 数据 服务 
在 企业 架构 设计 、 与 企业 架构 结合 、 需 求 分 析 与 架构 设计 、 转 换 、 持 续 运营 、 行 业 实践 的 
方法 与 思路 。 


第 1 章 


筑 集 : 来 自 建 筑 行 业 的 启示 


大 数据 对 于 企业 非常 重要 ， 但 是 如 果 没 有 设计 良好 的 企业 架构 ， 很 难看 清楚 它 对 于 企 
业 的 价值 和 作用 ， 因 此 本 篇 是 在 分 析 大 数据 运营 之 前 的 必要 准备 ， 通 过 企业 架构 的 设计 ， 
可 以 清晰 地 看 到 大 数据 在 企业 中 的 发 力 点 ， 进 而 形成 满足 大 数据 运营 的 企业 架构 新 思维 。 
本 章 内 容 思 维 导 图 如 下 所 示 : 


房子 : 企业 架构 模型 


要 形成 大 局 观 、 系 统 化 以 及 互联 网 思维 方式 


逢 阵 式 、 分 层 
业 的 业务 活 


人 [从 时 间 角度 看 ， 业 务 过 程 杠 架 分 解 为 战略 、 建 设 和 运营 三 大 阶段 
业务 过 程 框架 分 解 为 市 场 、 服 务 、 资源 、 人 
的 ， 


EY 体 为 单位 进行 描述 ， 其 属性 
人 人 
a 。_ 对 于 双方 来 说 应 用 就 是 一 种 能 
让 同业 多 二 攻 作 多 应 用 是 业务 人 员 对 信息 系统 提出 的 能 力 需求 , 是 技术 需要 交付 的 成 果 


是 应 息 系统 的 执行 单元 ， 有 个 特定 的 和 出 
功能 ; 特定 任务 的 扒 行 单元 功能 是 应 用 在 信息 系统 的 执行 单元 ， 有 个 输入 和 输出 


功能 与 应 用 之 间 为 多 对 多 的 关系 ， 一 个 应 用 可 以 具有 多 个 功能 


过 程 : 业务 活动 的 集合 体 


4 息 : 业务 活动 的 载体 


数据 是 信息 在 信息 系统 中 的 表达 ， 数 据 是 对 现实 山 界 的 记录 
:信息 社会 的 永恒 记忆” 四 - 
数据 :信息 社会 的 永恒 记忆 Je[ 活 过 对 数据 的 采集 、 转 换 、 存 储 而 民 示 ， 发 现 数据 夺 后 隐藏 的 规律 


集成 技术 可 以 实现 全 球 资源 的 高 效 整合 ， 实 现 资源 的 有 效 配置 
集成 : 价值 网 络 时 代 的 整合 者 ”|e 在 业务 屋面， 价值 网 络 时 f 将 多 个 业务 服务 集成 在 一 起 


在 技术 层面 ， 需 要 将 多 个 独立 的 系统 或 平台 连接 起 来 


信息 技术 可 以 实现 全 : 狐 的 高 效 整 个， 实现 资源 的 有 效 取 置 
技术 : 改变 世界 的 源 动力 |e 一 一 一 一 机 


云 计算 、 大 数据 等 技术 发 展 趋势 是 分 层 、 组 件 化 、 资 源 共享 和 能 力 开放 


逻辑 的 必 有 为 的 ， 虚 拟 的 必须 转化 为 实在 的 
部 署 ， 飞 机 着 陆 的 感 党 局 ee 的 必须 转化 为 实在 的 


署 架构 为 IT 资 源 的 按 需 分 配 创造 了 条 件 
人 安全 与 开放 是 一 对 亭 生 见 弟 ， 有 开放 就 有 安全 问题 
安全 : 都 是 开放 车 的 


端的 系统 部 署 架构 是 安全 管理 的 基本 框架 


没有 规矩 不 成 方圆 ， 组 织 、 流程 - 技术、 制度 是 成 功 治理 的 前 提 和 基础 
治理 ; 让 一 切 变 和 a 
a al 隐私 侵犯 和 信息 安全 是 影响 大 数据 发 展 的 关键 因素 


第 1 童 
筑 巢 : 来 自 建筑 行业 的 启示 


1.1 谋划 : 像 盖 房子 一 样 架构 企业 


以 企业 发 展 战略 为 指导 ， 结 合 业务 架构 与 技术 架构 ， 按 照 系统 的 方法 论 ， 将 企业 架构 绘制 成 一 
座 10 个 维度 的 小 房子 。 


由 于 企业 自身 的 复杂 性 以 及 外 部 环境 对 企业 响应 要 求 的 敏捷 性 ， 要 求 企业 从 战略 、 业 
务 和 技术 方面 统筹 考虑 ， 有 效 衔接 。 

企业 架构 需要 从 战略 、 业 务 、 技 术 三 个 层次 进行 分 析 与 设计 。 战 略 、 业 务 、 技 术 是 三 
个 相互 联系 又 相互 区 别 的 部 分 ， 负 责 企业 架构 的 人 员 应 当 从 上 到 下 、 从 前 到 后 、 系 统 化 地 
对 企业 进行 分 析 和 设计 ， 从 而 保证 企业 架构 的 整体 性 。 

企业 战略 侧重 关注 企业 发 展 的 长 远 和 全 局 ， 通 过 分 析 自 身 特点 和 外 部 环境 ， 找 出 自身 
的 优势 与 不 足 ， 同 时 确定 机 会 和 威胁 ,在 知己 知 彼 后 制定 符合 企业 自身 的 发 展 战略 。 例 如 ， 
某 电信 运营 商 通 过 分 析 认 为 ，3G 市 场 竞 争 中 自身 拥有 的 WCDMA 技术 相 比 其 他 竞争 对 手 
有 具 有 技术 先进 、 产 业 链 条 更 加 成 熟 等 优势 ， 但 在 2G 网 络 (GSM) 的 覆盖 规模 、 网 络 质量 
等 方面 均 与 竞争 对 手相 比 存 在 较 大 差距 , 因此 制定 了 3G 领先 战略 ,借助 3G 优势 取得 领先 
优势 。 

业务 是 在 企业 战略 的 指导 下 完成 的 ， 同 时 业务 也 需要 技术 的 支持 来 实现 。 从 企业 内 部 
看 ， 需 要 整合 内 部 和 外 部 资源 为 客户 提供 服务 。 业 务 除了 包括 面向 客户 的 市 场 营销 、 销 售 、 
服务 以 及 支撑 业务 运营 的 客户 、 产 品 、 渠 道 、 合 作 伙伴 等 元 素 外 ， 还 包括 面向 企业 内 部 管 
理 的 人 力 资源 、 财 务 、 资 产 、 工 程 、 知 识 、 风 险 等 方面 。 此 外 ， 支 撑 企 业 提供 服务 的 资源 
则 是 企业 价值 提供 的 基础 ， 比 如 电信 运营 商 的 通信 网 络 资源 ， 银 行 的 货币 资源 、 电 力 公司 
的 电网 资源 等 。 

技术 是 一 种 手段 ， 用 于 支撑 业务 需求 的 实现 。 在 信息 、 通 信 、 物 联网 等 技术 飞速 发 展 
的 时 代 ， 技 术 在 提升 运营 效率 、 管 理 水 平 、 客 户 感知 等 方面 都 发 挥 了 越 来 越 重 要 的 作用 ， 
同样 ， 技 术 应 当 与 业务 紧密 关联 ， 应 当 能 够 迅速 响应 业务 需求 的 变化 。 

企业 架构 应 当 能 够 紧密 连接 战略 、 业 务 与 技术 ， 作 为 指导 企业 发 展 和 响应 外 部 变化 的 
蓝图 。 企 业 应 该 多 个 维度 定义 相互 联系 、 相 互 制约 的 架构 蓝图 ， 用 于 评估 企业 发 展现 状 和 
目标 , 通过 目标 与 现状 的 对 比 , 企业 从 多 个 维度 定位 问题 和 差距 所 在 ,并 根据 改进 的 原则 、 
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方法 和 工具 进行 不 断 调整 ， 以 实现 企业 整体 目标 。 

本 章 按照 从 战略 到 业务 再 到 技术 的 思路 ， 以 企业 发 展 战略 为 指导 ， 结 合 业 务 架 构 与 技 
术 架 构 ， 按 照 系 统 的 方法 论 ， 将 企业 架构 绘制 成 一 座 小 房子 ， 如 图 1-1-1 所 示 。 

从 这 座 房子 可 以 看 出 ， 企 业 架 构 共 从 10 个 维度 进行 管理 ， 分 别 为 : 业务 过 程 架 构 、 
信息 架构 、 应 用 架构 、 集 成 架构 、 功 能 架构 、 数 据 架构 、 技 术 架 构 、 部 署 架 构 、 安 全 架构 
和 治理 架构 。 其 中 业务 过 程 架构 和 信息 架构 属于 业务 层面 ， 功 能 架构 、 数 据 架构 、 技 术 架 
构 、 部 署 架 构 属 于 技术 层面 ， 应 用 架构 和 集成 架构 处 于 业务 和 技术 的 衔接 点 ， 起 到 桥梁 和 
纽带 的 作用 ， 而 安全 架构 和 治理 架构 则 属于 管理 层面 。 


【9 治理 架构 


3 ”应 用 架构 


4 
局 
E33 


图 1-1-1 企业 总 体 架构 模型 


下 面 就 对 这 10 个 架构 进行 简要 说 明 。 

(1) 业务 过 程 架 构 和 信息 架构 属于 业务 层面 ， 用 于 描述 业务 流程 、 业 务 规则 、 信 息 规 
则 等 。 
(2) 信息 架构 : 信息 架构 和 业务 过 程 架 构 仿佛 夫妻 关系 ， 如 果 说 业务 过 程 架 构 从 动态 
角度 管理 企业 的 业务 活动 ， 那 么 信息 架构 则 是 从 静态 角度 管理 企业 业务 过 程 中 产生 的 信 
息 的。 

(3) 应 用 架构 属于 业务 与 技术 的 过 渡 层 ， 通 过 能 力 的 形式 体现 业务 需求 ， 同 样 也 是 对 
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系统 实现 提出 的 要 求 ， 是 业务 人 员 和 技术 人 员 之 间 的 共同 约定 。 

(4) 集成 架构 的 目标 是 实现 对 业务 、 应 用 、 功 能 、 数 据 、 技 术 的 攻 合 。 从 业务 层面 看 ， 
它 集 成 了 业务 过 程 与 信息 ;从 应 用 层面 看 ， 它 通过 组 合 业务 服务 形成 各 种 能 力 ， 从 功能 、 
数据 和 技术 的 层面 看 ， 它 是 系统 功能 、 数 据 模型 以 及 技术 实现 的 黏合 体 。 

(5) 功能 架构 是 从 系统 用 户 角度 看 ， 系 统 用 户 功能 点 的 集合 。 功 能 形成 的 基础 是 应 用 
需求 或 者 能 力 要求 ， 能 力 与 功能 是 多 对 多 的 关系 ， 一 个 能 力 可 能 需要 功能 点 来 实现 ， 一 个 
功能 点 也 可 能 对 应 多 个 能 力 要求 。 

(6) 数据 架构 为 功能 架构 的 基石 。 按 照 数据 支持 目标 ， 分 为 面向 应 用 的 交易 型 数据 和 
面向 决策 的 分 析 型 数据 ;按照 从 业务 到 技术 逐步 落地 的 思路 ， 分 为 概念 模型 、 罗 辑 模型 和 
物理 模型 。 

(7) 技术 架构 是 根据 应 用 特点 和 功能 要 求 ， 采 用 先进 适用 技术 而 设计 的 ， 需 要 考虑 性 
满足 能 力 、 技 术 成 熟 度 、 可 移植 性 、 开 发 者 群体 规模 、 实 施 难 度 等 因素 ， 遵 循 分 层 、 模 
块 化 、 组 件 化 、 开 放 性 的 设计 原则 。 

(8) 部 署 架 构 是 应 用 软件 、 系 统 软件 、 系 统 硬件 〈 主 机 、 存 储 、 网 络 等 ) 的 连接 方式 ， 
部 署 架 构 的 目标 是 保证 系统 可 靠 性 、 可 用 性 、 可 伸缩 性 、 高 性 能 以 及 安全 性 ， 因 此 一 般 采 
用 集群 方式 来 实现 应 用 部 署 。 

(9) 安全 架构 是 为 了 保证 系统 在 信息 交换 过 程 中 的 安全 性 , 包括 网 络 安全 、 信 息 安 全 、 
访问 安全 、 安 全 管控 等 。 需 要 构建 一 个 从 技术 到 管理 的 安全 管控 体系 ， 实 现 对 安全 威胁 的 
预防 、 发 现 、 处 理 、 分 析 等 全 过 程 、 全 方位 的 管理 。 

(10) 治理 架构 是 为 了 保证 从 业务 到 技术 的 全 过 程 的 规范 性 、 有 效 性 、 严 谨 性 ， 通 过 
建立 从 业务 到 技术 的 服务 支撑 体系 ， 并 借助 规范 化 的 管理 流程 和 保障 制度 ， 保 障 业务 运营 
的 连续 性 和 系统 运行 的 稳定 性 。 


1.2 过程: 企业 是 业务 活动 的 集合 体 


按照 分 层 分 类 的 方法 ， 从 战略 、 建 设 、 产 品 到 运营 的 时 间 维和 从 市 场 需求 到 资源 供给 的 空间 维 
进行 设计 ， 业 务 过 程 框架 表现 为 时 空 交 又 的 矩阵 形式 。 


正如 恩格斯 所 说 “世界 不 是 既成 事物 的 集合 体 ， 而 是 过 程 的 集合 体 ”， 企 业 的 生产 经 
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营 活动 也 同样 由 大 大 小 小 的 过 程 组 成 。 本 节 参 考 国际 先进 成 熟 的 框架 体系 ， 按 照 分 层 分 类 
的 方法 ， 分 别 从 时 间 角 度 和 空间 角度 对 企业 业务 过 程 进行 架构 设计 。 


1.2.1 分 层 分 级 一 一 最 原始 的 方法 论 


将 复杂 问题 简单 化 的 有 效 方法 是 分 而 治之 (divide and conquer)， 对 于 企业 来 讲 ， 通 常 
是 从 供应 商 / 合 作 伙 伴 那里 获取 原材料 ,通过 企业 自身 的 生产 与 运营 , 将 产品 和 服务 交付 给 
客户 ， 此 外 ， 企 业 的 活动 要 受到 政府 等 监管 部 门 的 约束 ， 符 合 社会 利益 。 虽 然 企业 采购 与 
生产 经 营 活动 看 似 简单 ， 但 是 对 于 专业 化 分 工 越 来 越 细 、 外 部 环境 变化 越 来 越 快 的 今天 来 
说 ， 如 果 不 借助 科学 的 架构 对 企业 进行 管理 ， 那 么 当 企业 面临 问题 和 外 部 挑战 时 ， 难 以 定 
位 问题 所 在 。 

那么 如 何 对 企业 进行 架构 设计 呢 ? 首先 就 要 分 析 一 下 企业 的 业务 活动 。 从 时 间 轴 看 ， 
一 个 企业 一 般 会 经 过 战略 制定 、 基 础 设施 建设 、 产 品 管理 、 市 场 营销 、 销 售 以 及 客户 服务 
几 个 阶段 。 从 空间 轴 看 ， 企 业 首 先 从 供应 商 /合作 伙伴 处 取得 产品 和 服务 ， 作 为 生产 的 原 材 
料 ， 需 要 对 获得 的 资源 进行 配置 ， 这 些 资 源 是 承载 客户 产品 和 服务 的 基础 ， 可 以 采用 面向 
服务 架构 〈SOA) 的 方式 ， 将 其 进行 封装 ， 成 为 一 个 个 前 台 可 以 使 用 的 服务 ， 通 过 服务 的 
组 合 满足 业务 需要 。 但 是 ， 到 现在 为 止 ， 还 不 能 直接 将 服务 交付 给 客户 ， 因 为 还 缺少 对 于 
市 场 的 支持 ， 比 如 产品 的 结构 怎样 ， 如 何 定 价 ， 产 品 面向 的 客户 群 是 谁 ， 产 品 销售 的 渠道 
是 哪 种 类 型 ， 是 实体 营业 厅 还 是 网 上 电子 渠道 等 ， 因 此 需要 在 服务 层 之 上 再 增加 一 层 ， 这 
一 层 包括 市 场 营 销 、 产 品 、 客 户 几 个 方面 。 最 后 ， 企 业 要 完成 以 上 业务 活动 ， 还 需要 企业 
人 力 资源 、 财 务 、 采 购 、 资 产 、 研 发 等 过 程 的 支持 。 

以 上 是 对 于 企业 活动 的 一 个 简单 分 析 ， 不 难看 出 一 个 企业 尤其 是 大 中 型 企业 并 不 是 想 
象 的 那么 简单 ， 它 是 由 许 许 多 多 过 程 共同 来 完成 的 。 为 了 清晰 地 看 到 企业 的 过 程 ， 将 企业 
从 零 级 开始 ， 按 照 分 层 的 方式 ， 逐 步 分 类 和 剥皮， 最 后 达到 最 底层 的 执行 节点 。 企 业 架 构 模 
型 的 零 级 视图 如 图 1-2-1 所 示 。 

从 图 1-2-1 可 以 看 出 ， 企 业主 要 有 三 类 利益 相关 者 。 第 一 类 是 客户 ， 这 是 企业 产品 和 
服务 的 输出 对 象 ， 客 户 可 以 有 多 种 分 类 方法 ， 比 如 可 以 分 为 政 企 客户 和 公众 客户 。 第 二 类 
是 供应 商 和 合作 伙伴 ， 这 是 企业 生产 和 运营 的 输入 对 象 ， 包 括 设 备 供应 商 、 软 件 提供 商 、 
系统 集成 商 、 内 容 提供 商 、 服 务 提供 商 等 角色 。 第 三 类 是 企业 内 部 服务 对 象 ， 包 括 股东 、 
雇员 、 政 府 监 管 机 构 等 ， 股 东 是 企业 的 投资 者 和 受益 者 ， 雇 员 是 企业 的 经 营 者 ， 政 府 监管 
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机 构 是 保障 企业 符合 市 场 要 求 和 合法 经 营 的 管理 者 。 
SS 客户 > 


市 场 、 产品、 客户 


供应 商 /合作 伙伴 


供应 商 /合作 伙伴 


利益 相关 者 


图 1-2-1 企业 零 级 概念 模型 


企业 的 零 级 概念 模型 只 是 企业 架构 最 高 层次 的 抽象 和 分 类 ， 如 果 要 管理 好 企业 的 过 程 
还 需要 在 零 级 概念 模型 上 进一步 剥皮 。 对 于 分 层 深度 没有 特别 要 求 ， 原 则 上 是 能 够 将 企业 
业务 过 程 分 为 一 个 有 特定 功能 的 独立 单元 ， 使 得 企业 架构 中 的 各 个 元 素 之 间 保 持 松 耦合 关 
系 。 为 了 清晰 地 掌握 企业 架构 分 层 的 方法 ， 再 看 一 下 企业 的 一 级 架构 模型 ， 如 图 1-2-2 
所 示 。 

从 图 1-2-2 可 以 看 出 ， 企 业 业务 过 程 框架 以 客户 为 中 心 设计 ， 解 决 了 从 市 场 需求 到 资 
源 供给 的 承接 问题 ， 其 原理 为 : 首先 ， 企 业 需 要 确定 市 场 的 4P《〈 产 品 、 价 格 、 促 销 、 渠 道 ) 
要 素 ， 进 行 客户 关系 管理 ， 这 些 属 于 市 场 〈 客 户 ) 层面 。 其 次 ， 企 业 需 要 将 市 场 需 求 转换 
为 服务 能 力 ， 比 如 某 客户 订购 了 一 个 电信 融合 产品 ， 这 款 产品 包含 固 话 、 宽 带 、 移 动 三 种 
通信 和 能力 ， 这 些 在 服务 层 实现 。 然 后 ， 这 些 服务 能 力 是 虚拟 的 、 风 辑 的 ， 它 们 需要 企业 真 
实 的 、 物 理 的 资源 提供 支持 ， 比 如 ， 宽 带 服务 能 力 需 要 交接 箱 、 分 线 盒 、 光 缆 等 线路 资源 
的 支持 ， 这 些 在 资源 层 实现 。 最 后 ， 企 业 的 各 种 资源 不 一 定 是 自身 提供 的 ， 还 可 能 由 外 部 
供应 商 提供 ， 在 某 些 情 况 下 也 可 能 需要 租赁 合作 伙伴 的 资源 和 服务 ， 以 满足 建设 工期 或 者 
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成 本 效益 等 要 求 ， 这 些 在 供应 商 /合作 伙伴 层 实现 。 至此， 按照 市 场 、 服 务 、 资 源 、 供 应 商 
/合作 伙伴 的 分 层 方法 ,就 完成 了 从 市 场 需求 到 资源 供给 的 映射 这 种 分 层 方法 对 于 服务 型 
企业 是 通用 的 。 


Ea 


服务 开发 与 管理 


资源 开发 与 管理 
(应 用 、 计 算 、 网 络 ) 


供应 链 开 发 与 管理 供应 商 /合作 伙伴 关系 管理 


人 力 资 源 管理 财务 与 资产 管理 知识 与 研发 管理 
企业 风险 管理 利益 相关 者 与 对 外 关系 管理 


图 1-2-2 企业 业务 过 程 框架 (一 级 ) 


当然 ， 以 上 是 从 空间 角度 实现 了 从 市 场 需 求 到 资源 供给 的 映射 ， 毕 竞 企业 不 是 静止 不 
动 的 ， 还 需要 从 动态 角度 定义 企业 业务 过 程 。 过 程 描 述 事物 如 何 变 化 ， 结 构 则 描述 了 事物 
如 何 相互 联系 ， 为 了 全 面 地 认识 事物 发 生发 展 的 全 过 程 ， 需 要 采用 全 生命 周期 管理 的 思维 
方式 。 

笔者 将 企业 运营 前 的 过 程 分 为 企业 战略 管理 、 基 础 设施 生命 周期 管理 和 产品 生命 周期 
管理 三 大 阶段 。 企 业 战 略 作为 指导 作用 ， 决 定 了 企业 建设 和 运营 的 方向 和 重点 ， 比 如 企业 
开发 面向 新 的 客户 群 的 新 产品 、 在 新 的 地 域 开辟 新 的 市 场 或 者 建设 网 上 渠道 销售 产品 等 ， 
这 些 战 略 对 于 企业 建设 和 运营 都 有 影响 ， 企 业 战略 分 为 战略 制定 、 战 略 实施 和 战略 评估 三 
个 阶段 ， 基 础 设施 生命 周期 以 企业 发 展 战略 为 指导 ， 定 义 市 场 营 销 和 产品 能 力 需 求 并 按照 
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这 些 能 力 需 求 进行 建设 实施 ， 对 于 不 符合 企业 发 展 的 基础 设施 ， 经 过 评估 后 下 线 ; 产品 生 
命 周期 过 程 主要 包括 产品 的 开发 与 退出 、 产 品 营销 传播 及 促销 以 及 销售 开发 ， 此 过 程 是 在 
基础 设施 能 力 具 备 的 前 提 下 实现 的 。 这 个 道理 很 简单 ,企业 在 运营 之 前 怎么 会 没有 产品 呢 ? 
不 但 企业 要 具备 产品 ， 而 且 还 需要 对 产品 进行 营销 推广 和 销售 开发 ， 以 便 潜 在 客户 和 现 有 
客户 能 够 知道 企业 的 新 产品 ， 企 业 还 需要 定义 产品 的 补贴 机 会 、 开 展销 售 相关 的 培训 、 制 
定 潜在 客户 识别 方法 、 制 作 产品 销售 过 程 和 步骤 等 。 
此 外 ， 企 业 对 人 力 资源 、 财 务 、 资 产 、 知 识 等 的 管理 也 非常 重要 ， 笔 者 将 其 定义 为 企 
业 管理 域 。 企 业 管 理 域 是 企业 战略 管理 、 基 础 设施 生命 周期 管理 、 产 品 生 命 周 期 管理 和 企 
业 运 营 活动 的 大 后 方 ， 主 要 包括 人 力 资 源 管理 、 财 务 与 资产 管理 、 企 业 效 益 管理 、 风 险 管 
理 等 。 
从 上 面 的 分 析 可 以 看 出 ， 业 务 过 程 框架 是 时 间 维 〈 从 战略 、 建 设 、 产 品 到 运营 ) 与 空 
间 维 (从 市 场 需求 到 资源 供给 ) 的 结合 体 ， 表 现 为 时 空 交 叉 的 矩阵 形式 。 
采用 这 种 分 层 方法 ， 企 业 业 务 过程 继 续 细 分 ， 直 到 过 程 元 素 〈 叶 子 节点 )。 业 务 过 程 
细 分 的 目的 是 更 清晰 地 展现 业务 过 程 交互 的 细节 。 业 务 过 程 作为 企业 活动 的 起 始 ， 作 为 其 
他 维度 企业 架构 设计 的 输入 。 


1.2.2 ”CXO 的 那些 事 儿 : 企业 发 展 战略 


企业 所 有 的 业务 活动 中 ， 企 业 战 略 是 第 一 个 业务 过 程 ， 它 决定 了 企业 发 展 的 方向 和 道 
路 ， 对 其 他 过 程 起 着 指导 作用 。 

许多 人 认为 企业 发 展 战 略 是 企业 高 层 管理 人 员 的 事情 ， 对 此 ， 国 际 著名 战略 学 家 戴 维 
(Fred R. David) 提出 了 系统 化 的 看 法 ， 他 认为 企业 战略 的 主要 任务 是 沟通 ， 如 果 没 有 企业 
内 部 的 充分 沟通 ， 进 而 达到 对 企业 发 展 战略 的 理解 ， 那 么 企业 战略 的 实施 将 是 一 件 很 困难 
的 事情 。 

企业 发 展 战略 立足 于 全 局 和 长 远 ， 主 要 目的 是 确定 公司 中 长 期 发 展 方向 、 策 略 等 。 人 制 
定 企业 发 展 战略 的 方法 主要 是 SWOT 分 析 法 ， 其 本 质 是 “知己 、 知 彼 ”， 企 业 要 掌握 企业 
自身 的 优势 和 不 足 ， 也 要 分 析 企业 外 部 的 机 会 和 威胁 ， 根 据 分 析 结 果 确 定 企业 发 展 战略 。 
比如 ， 企 业 在 渠道 、 技 术 、 产 品 方面 和 竞争 对 手相 比 具 有 渠道 覆盖 广 、 技 术 更 加 先进 ， 同 
时 产品 也 具有 价格 优势 ， 但 是 不 足 的 是 企业 在 资金 支持 方面 不 及 竞争 对 手 ， 经 常 因为 客户 
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回 款 慢 而 导致 现金 流 中 断 ， 财 务 风险 高 。 

在 外 边 环境 分 析 方 面 ， 通 常 采用 PEST 分 析 法 ， 即 政治 与 法 律 、 经 济 、 社 会 与 文化 、 
技术 四 个 方面 。 比 如 新 能 源 汽车 ， 虽 然 在 技术 上 比较 先进 ， 但 如 果 在 国家 政策 和 法 律 支持 
方面 还 处 于 空白 阶段 ， 那 么 政策 风险 高 。 在 经 济 方面 ， 需 要 结合 目标 区 域 的 居民 收入 来 确 
定 合适 的 销售 策略 ， 与 当地 居民 的 收入 匹配 起 来 。 在 社会 与 文化 方面 ， 要 结合 当地 的 风俗 
习惯 来 制定 营销 策略 ， 比 如 我 国 的 北方 ， 人 们 通常 长 得 高 大 ， 生 活 习惯 较为 粗放 ， 可 以 考 
虑 提供 耐用 、 宽 敞 的 汽车 ， 在 我 国 的 南方 则 可 以 提供 小 巧 、 精 致 的 汽车 。 在 技术 方面 ， 需 
要 考虑 技术 的 先进 性 ， 特 别 是 高 科技 行业 ， 技 术 的 更 新 换代 很 快 ， 要 特别 注意 技术 风险 。 

企业 发 展 战略 的 类 型 主要 包括 成 本 领先 战略 、 差 异化 战略 、 集 中 化 战略 、 一 体 化 战略 。 

如 果 企 业 要 实施 成 本 领先 战略 ， 首 先 需要 确定 在 整个 价值 链 中 可 以 降低 成 本 的 链条 。 
这 些 环节 可 能 是 采购 环节 、 生 产 环 节 、 分 销 环节 。 在 采购 环节 ， 企 业 可 以 利用 大 数据 对 全 
球 多 个 供应 商 的 采购 成 本 进行 对 比 ， 找 出 成 本 、 质 量 等 满足 企业 要 求 的 产品 和 服务 。 如 果 
在 生产 环节 ， 企 业 可 以 通过 流程 优化 ， 找 出 在 生产 过 程 中 可 以 去 掉 的 工序 。 如 果 在 分 销 环 
节 ， 企 业 可 以 通过 构建 互联 网 、 自 助 终端 、 迷 你 终端 、 移 动 终端 等 电子 渠道 ， 降 低 分 销 成 
本 ， 并 借助 020 协同 ， 发 挥 分 销 渠 道 的 整体 优势 。 

如 果 企 业 要 实施 差异 化 发 展 战略 ， 可 以 体现 在 产品 、 渠 道 、 服 务 、 销 售 、 价 格 等 方面 。 
比如 为 客户 提供 优 于 竞争 对 手 的 产品 ， 具 有 竞争 对 手 没 有 的 产品 特征 ; 可 以 比 客户 覆盖 范 
围 更 广 的 渠道 服务 体系 ， 提 供 线 上 和 线 下 相 结 合 的 渠道 体系 ， 对 于 服务 方面 ， 比 如 缩短 客 
户 通 过 实体 营业 厅 、 呼 叫 中 心 的 等 待 时 间 ， 可 以 根据 客户 价值 高 低 分 配 客户 的 等 待 序列 ， 
实现 差异 化 服务 ; 在 销售 方面 ， 可 以 提高 业务 开通 的 高 效率 , 让 客户 能 够 更 快 地 使 用 业务 。 

如 果 企 业 要 实施 集中 化 战略 ， 首 先 要 理解 集中 化 对 企业 发 展 带 来 的 好 处 ， 通 常人 们 会 
认为 资源 集中 能 够 发 挥 规模 经 济 优势 ， 同 时 也 有 利于 企业 管理 。 以 企业 信息 系统 的 集中 化 
为 例 进行 说 明 ， 由 于 历史 原因 ， 采 用 两 级 或 者 多 级 组 织 架构 层次 的 企业 在 各 个 层级 都 建设 
了 信息 系统 , 随 着 网 络 技术 和 信息 技术 的 发 展 , 为 企业 建设 集中 化 的 信息 系统 提供 了 可 能 ， 
而 且 建 设 集中 化 的 信息 系统 可 以 降低 企业 总 体 建设 和 维护 成 本 ， 借 助 信息 系统 的 集中 化 ， 
也 可 以 达到 规范 企业 流程 ， 增 强 企 业 统 一 管控 能 力 的 目的 。 

企业 一 体 化 发 展 战略 可 以 分 为 横向 一 体 化 、 前 向 一 体 化 、 后 向 一 体 化 几 种 类 型 。 横 向 
一 体 化 主要 是 企业 需要 收购 竞争 对 手 ， 完 善 渠道 体系 ， 扩 大 市 场 份额 ， 前 向 一 体 化 主要 是 
企业 收购 或 兼并 一 些 渠道 商 ， 提 升 渠道 控制 能 力 ， 后 向 一 体 化 主要 是 指 企 业 收 购 供应 商 ， 
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更 好 地 保障 企业 原材料 、 服 务 等 的 供应 。 当 然 ， 企 业内 部 也 可 以 实施 一 体 化 战略 ， 打 通 企 

业 前 后 台 部 门 和 横向 部 门 的 流程 ， 实 现 业务 财务 一 体 化 、 资 源 资 产 一 体 化 和 服务 营销 一 体 
化 ， 提 升 企业 的 整体 运营 能 力 。 


1.2.3 物质 决定 意识 : 基础 设施 生命 周期 管理 


当 企业 制定 了 发 展 战略 ， 形 成 了 企业 的 愿景 、 蓝 图 、 目 标 等 后 ， 下 一 步 就 需要 根据 企 
业 发 展 战略 ， 进 行 基础 设施 的 构建 了 。 

按照 企业 架构 分 层 的 方法 ， 企 业 首先 需要 定义 出 市 场 营销 能 力 需求 和 产品 能 力 需求 ， 
然后 定义 服务 能 力 需 求 ， 再 提出 对 于 资源 的 能 力 需求 和 供应 商 /合作 伙伴 的 能 力 需求 。 下 面 
通过 一 个 场景 说 明 从 能 力 需求 到 能 力 供给 的 过 程 。 

比如 企业 制定 了 一 个 4G 发 展 战略 , 在 基础 设施 生命 周期 管理 过 程 中 要 解决 以 下 问题 ; 

第 一 ， 企 业 发 展 4G， 需 要 考虑 在 哪些 区 域 、 针 对 哪些 客户 群 进行 市 场 营 销 ， 企 业 的 产 
品 能 力 是 什么 。 比 如 ， 因 为 4G 业务 最 大 的 特点 是 移动 上 网 速度 快 , 但 是 4G 网 络 消耗 的 成 
本 高 ， 可 以 考虑 首先 在 北京 、 上 海 、 广 州 这 样 的 发 达 城市 进行 网 络 建设 ， 针 对 的 是 月 流量 
消费 在 300MB 以 上 的 客户 群 。 在 产品 能 力 方面 ，4G 新 产品 中 主要 具备 用 户 自主 定制 上 网 
流量 、 语 音 、 数 据 业 务 的 能 力 ， 同 时 根据 在 网 客户 的 历史 消费 推荐 适合 客户 的 产品 。 

第 二 ， 需 要 确定 相应 的 服务 应 当 具 备 的 能 力 。 产 品 主要 是 面向 客户 的 ， 而 服务 则 需要 
面向 内 部 。 一 个 产品 可 能 由 多 个 服务 组 成 ， 比 如 4G 产品 由 4G 移动 上 网 服务 、4G 语音 服 
务 以 及 短信 数据 业务 组 成 。 服 务 能 力 依赖 于 资源 能 力 和 供应 商 /合作 伙伴 能 力 来 实现 ， 比 如 
4G 移动 上 网 业务 需要 北京 地 区 采用 自 建 的 方式 从 供应 商 获 取 网 络 资源 支持 ,也 可 以 采用 租 
赁 的 方式 获取 合作 伙伴 的 4G 基站 资源 。 

第 三 ， 需 要 确定 相应 的 资源 应 当 具备 的 能 力 。 资 源 分 为 逻辑 资源 和 物力 资源 。 罗 辑 资 
源 比如 交换 机 上 的 虚拟 端口 号 ， 物 理 资源 如 交换 机 、 路 由 器 等 的 物理 端口 。 服 务 是 逻辑 上 
对 资源 的 抽象 定义 ， 最 终 还 是 要 映射 到 物理 资源 。 比 如 4G 业务 需要 4G 铁塔 (BTS)、4G 
基站 (BSC)、 互 联网 出 口 网 关 (GGSN、SGSN) 等 资源 来 承载 。 

第 三 ， 需 要 确定 相应 的 供应 商 /合作 伙伴 具备 的 能 力 。 当然, 对 于 一 个 电信 运营 商 来 说 ， 
不 一 定 所 有 的 资源 服务 都 是 自家 的 ， 考 虑 到 成 本 、 交 付 速 度 等 因素 ， 会 从 供应 商 和 合作 伙 
伴 处 获取 产品 和 服务 。 比 如 4G 数据 增值 服务 如 天 气 预 报 内 容 服 务 来 自 于 气象 台 ， 气 象 台 
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作为 内 容 提 供 商 ， 为 电信 运营 商 提 供 气象 信息 ， 形 成 天 气 预报 数据 增值 服务 。 当 然 ， 自 建 
4G 基站 等 移动 上 网 服务 则 需要 通过 采购 比如 华为 、 中 兴 这 样 的 设备 供应 商 的 产品 , 最终 形 
成 4G 移动 上 网 服务 。 

同 任何 生物 的 生命 周期 一 样 ， 基 础 设施 同样 要 经 历 从 需求 定义 、 设 计 、 采 购 、 验 收 、 
上 架 、 上 线 、 下 线 、 下 电 、 报 废 等 一 系列 过 程 。 当 由 于 技术 过 时 、 设 备 老化 等 因素 导致 市 
场 不 再 需要 这 个 基础 设施 时 ， 经 过 业务 影响 评估 等 过 程 ， 基 础 设施 需要 完成 下 线 下 电报 废 
等 处 理 ， 退 出 服务 的 提供 。 


1.2.4 你 我 约定 : 产品 生命 周期 管理 


犹如 所 有 生物 都 会 经 历 从 出 生 、 成 长 、 衰 退 直 至 死亡 的 过 程 一 样 ， 企 业 的 产品 也 同样 
会 经 历 从 创意 、 设 计 、 开 发 、 上 线 到 下 架 的 一 系列 过 程 。 企 业内 部 典型 的 产品 上 线 过 程 如 
图 1-2-3 所 示 。 


| 1， 业 务 部 门 提 2. 业务 部 门 与 3 细 化 业务 规 直 一 -人 4. 产品 原型 开 
出 需求 路 部 门 确认 需求 则 、 实体 属性 等 有 下 发 测试 


， 产品 配 置 及 6. 产品 全 面 扒 7. 产品 绩效 。 产品 下 架 与 
试点 广 销售 评估 退出 


图 1-2-3 产品 生命 周期 过 程 示例 


产品 是 一 个 企业 价值 转换 的 媒介 物 。 产 品 分 为 有 形 的 和 无 形 的 两 种 类 型 ， 有 形 的 产品 
如 手机 、SIM 卡 、 手 机 配件 等 ， 无 形 的 产品 称 为 服务 ， 比 如 通信 和 套餐、 金融 理财 产品 等 。 

按照 市 场 /产品 /客户 、 服 务 、 资源 、 供 应 商 /合作 伙伴 的 分 层 方法 , 在 市 场 /产品 /客户 层 ， 
产品 生命 周期 管理 细 分 为 产品 提供 品 (offer) 开发 与 管理 、 产 品 营销 传播 与 推广 、 销 售 开 
发 三 个 阶段 ， 服 务 层 包括 服务 开发 与 管理 过 程 ， 资 源 层 包括 资 源 开 发 与 管理 过 程 ， 供 应 商 / 
合作 伙伴 层 包括 供应 商 /合作 伙伴 开发 与 变更 管理 过 程 。 下 面 对 三 个 阶段 和 不 同 支 撑 层 次 的 
过 程 进行 解释 。 

第 一 ， 产 品 提供 品 开发 与 退出 、 产 品 营销 传播 与 推广 、 销 售 开发 : 当 基础 设施 能 力 具 
备 后 ， 企 业 就 可 以 设计 满足 市 场 需求 的 产品 了 。 产 品 开发 包括 从 产品 创意 、 产 品 设计 、 审 
批 、 研 发 、 实 验 等 一 系列 子 过 程 。 产 品 开发 完成 后 ， 还 需要 针对 市 场 和 客户 群 实施 营销 宣 
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传 ， 包 括 营 销 方案 制定 、 产 品 宣传 等 。 销 售 开发 过 程 包括 制 定 产品 补偿 的 政策 、 开 发 新 的 

销售 渠道 、 销 售 培训 等 ， 销 售 开发 通常 以 项 目 为 管理 单位 ， 而 运营 过 程 中 的 销售 是 日 常 型 
的 (day to day)。 

第 二 ， 服 务 开发 与 退出 : 产品 开发 过 程 定义 了 产品 的 规格 、 价 格 、 销 售 渠道 等 要 素 ， 
但 是 要 想 让 客户 享受 到 产品 还 需要 进一步 定义 服务 。 产 品 更 多 地 关心 客户 的 需求 、 企 业 对 
于 满足 这 些 需 求 的 价格 回报 以 及 推广 客户 与 产品 的 渠道 等 ， 而 服务 更 关心 如 何 将 价值 交付 
给 客户 。 比 如 电信 运营 商 推出 一 个 “亲情 一 家 产品 ” 这 个 产品 由 移动 、 固 话 和 宽带 三 个 服 
务 ( 也 称 为 业务 ) 组 成 ， 这 些 业务 的 价格 分 别 为: 移动 业务 每 分 钟 四 和 角 ， 国 话费 用 为 每 分 
钟 两 角 ， 宽 带 月 租 费 为 100 元 ,“ 亲 情 一 家 产品 ”通过 实体 营业 厅 销 售 。 

第 三 ， 资 源 开发 与 退出 服务 是 从 产品 分 解 来 的 ， 但 是 服务 只 是 一 种 能 力 的 抽象 ， 服 
务 需 要 资源 的 支持 才能 够 真正 地 为 用 户 提供 服务 。 按 照 资源 的 表现 形式 ， 将 资源 分 为 逻辑 
资源 和 物理 资源 两 类 。 逻 辑 资源 是 虚拟 的 ， 比 如 下 地址 、 电 话 号 码 、 端 口号 等 。 物 理 资源 
则 是 有 形 的 ， 看 得 见 摸 得 着 的 ， 比 如 主机 服务 器 、 存 储 设 备 、 网 线 、 网 卡 上 的 端口 等 。 

根据 服务 的 要 求 ， 需 要 进行 资源 的 开发 ， 比 如 宽带 接 入 服务 ， 它 需要 人 工 和 自动 服务 
共同 完成 ， 对 于 人 工 服 务 需 要 宽带 猫 、 网 线 、 工 具 等 物理 资源 ， 对 于 自动 服务 ， 需 要 号 码 、 
用 户 等 逻辑 资源 。 

第 四 ， 供 应 商 /合作 伙伴 开发 与 变更 : 企业 的 资源 可 以 采取 购买 或 租用 的 方式 从 供应 商 
/合作 伙伴 获取 ， 因 此 要 建立 与 供应 商 /合作 伙伴 合约 、 承 诺 、 协 议 的 签署 与 变更 ， 保 证 企 
业 能 够 按照 约定 来 提供 资源 和 服务 , 否则 企业 可 以 变更 供应 商 /合作 伙伴 。 采 购 周期 通常 为 : 
用 户 需 求 一 > 确定 规格 一 > 决定 生产 还 是 购买 一 > 竞标 还 是 议 标 一 > 供应 商 选择 一 > 供应 商 关 
系 管理 一 > 用 户 需 求 。 


1.2.5 各 就 各 位 : 运营 支持 与 就 绪 过程 


企业 在 发 展 战略 的 指导 下 ， 实 施 了 基础 设施 生命 周期 管理 和 产品 生命 周期 管理 ， 完 成 
了 从 战略 、 建 设 到 产品 供给 的 过 程 ， 为 企业 运营 做 好 了 铺垫。 

但 是 ， 企 业 要 实现 正常 运营 ， 还 需要 相关 的 辅助 支持 过 程 ， 以 保证 企业 运营 的 顺利 进 
行 ， 将 这 个 过 程 称 为 运营 支持 与 就 绪 〈 运 营 准备 )。 

(1) 客户 接触 管理 支持 过 程 : 核实 客户 接触 管理 过 程 是 否 已 经 具备 相应 的 能 力 。 客 户 
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与 企业 可 能 通过 多 种 渠道 接触 ， 包 括 电话 、 网 站 、 代 理 商 、 短 信 等 。 比 如 企业 已 经 具备 了 
4G 产品 销售 能 力 , 为 了 支持 客户 通过 电话 、 网 站 渠道 进行 产品 咨询 ， 客 户 接触 管理 支持 过 
程 应 当 核实 IVR 脚本 是 否定 义 ，4G 产品 宣传 所 有 的 录音 文件 是 否 已 经 准备 好 ， 是 否 已 经 
将 4G 产品 信息 嵌入 网 页 中 等 。 如 果 还 不 具备 这 些 能 力 或 者 存在 问题 ， 则 应 当 及 时 进行 修 
正 ， 以 便 客户 接触 管理 过 程 的 顺利 进行 。 

(2) 市 场 营销 实施 支持 过 程 。 

(3) 销售 支持 过 程 。 

(4) 订单 处 理 过 程 支持 过 程 。 

(5) 问题 处 理 过 程 支持 过 程 。 

(6) 账单 查询 处 理 过 程 支持 。 


1.2.6 ”不仅 是 讨价还价 ; 售 前 阶段 的 业务 过 程 


运营 支持 过 程 完 成 了 运营 前 的 准备 工作 ， 就 好 像 飞 机 起 飞 前 检查 油箱 是 否 有 足够 的 
油 、 起 落架 是 否 正 常 一 样 ， 目 的 是 为 了 保证 飞机 的 正常 飞行 。 当 检查 完毕 并 解决 好 存在 的 
问题 后 ， 企 业 就 可 以 正式 运营 了 。 

从 面向 客户 销售 的 角度 看 ， 企 业 运营 可 以 划分 为 售 前 、 售 中 、 售 后 三 个 阶段 ， 其 中 售 
前 阶段 主要 活动 是 企业 与 客户 之 间 通 过 反复 沟通 ， 就 价格 、 方 案 等 达成 一 致意 见 。 售 中 阶 
段 的 主要 活动 是 按照 售 前 阶段 双方 的 约定 ， 完 成 服务 的 开通 ， 使 得 客户 能 够 获得 企业 提供 
的 产品 或 者 正常 使 用 企业 提供 的 服务 。 

企业 售 前 阶段 的 业务 过 程 如 图 1-2-4 所 示 。 

从 图 1-2-4 可 以 看 出 ， 首 先 在 企业 市 场 宣传 推广 的 驱动 下 ， 客 户 接收 到 企业 产品 信息 ， 
然后 通过 各 种 渠道 《网 站 、 代 理 商 、 零 售 商 等 ) 与 企业 建立 联系 。 其 次 是 客户 将 需求 提供 
给 企业 ， 企 业 根 据 客户 需求 进行 方案 设计 ， 方 案 设计 阶段 企业 需要 核实 自己 是 否 具有 满足 
客户 需求 的 资源 和 能 力 ， 如 果 暂 时 不 具备 ， 可 以 通过 从 供应 商 /合作 伙伴 采购 的 方式 获得 生 


产 用 资源 。 当 确定 解决 方案 后 ， 企 业 再 为 客户 提供 不 同 的 销售 建议 ， 通 过 双方 沟通 确认 ， 
形成 销售 意向 。 


对 于 服务 的 开通 过 程 来 说 ， 客 户 总 是 希望 尽 可 能 少 地 等 待 就 可 以 使 用 企业 提供 的 产品 
和 服务 ， 因 此 企业 应 当 尽快 交付 产品 和 服务 ， 以 便 提 升 客户 满意 度 。 
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1-2-4 “企业 售 前 阶段 的 业务 过 程 


1.2.7 ” 零 等 待 靠 谱 吗 ? 售 中 阶段 的 业务 过 程 


在 售 前 阶段 ， 企 业 和 客户 之 间 达 成 意向 并 “ 预 占 ”了 资源 。 当 意向 变 成 协议 后 ， 企 业 
就 需要 为 客户 “开通 ”服务 了 ， 由 于 这 个 阶段 企业 还 没有 完成 产品 或 者 服务 的 销售 ， 因 此 
称 之 为 “ 售 中 ”阶段 。 

售 中 阶段 其 实 是 一 个 客户 需求 落地 实施 的 过 程 ， 企 业 根据 与 客户 预先 的 约定 和 方案 ， 
将 业务 订单 分 解 成 多 个 执行 工 单 ， 当 各 个 工 单 全 部 实施 完成 并 报 竣 后 ， 意 味 着 客户 从 此 能 
够 使 用 企业 的 产品 和 服务 了 。 

企业 售 中 阶段 的 业务 过 程 如 图 1-2-5 所 示 。 
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Te 


1-2-5 ”企业 售 中 阶段 业务 过 程 


从 图 1-2-5 可 以 看 出 ， 售 中 阶段 实际 上 是 从 需求 〈 订 单 ) 到 供给 〈 工 单 ) 的 实施 过 程 。 
订单 表示 已 经 “确定 ” 体现 了 企业 与 客户 之 间 就 需求 达成 的 一 致意 见 ， 比 如 产品 的 规格 、 
价格 、 售 后 服务 、 交 付 时 间 、 交 付 地 点 、 交 付 方式 等 。 企 业 会 以 订单 为 输入 ， 按 照 流程 和 
规则 ， 将 订单 分 解 为 多 个 可 以 执行 的 工 单 〈 操 作 单 )。 工 单 实施 分 为 自动 和 人 工 两 种 方式 ， 
比如 服务 号 码 的 预 占 、 实 占 和 释放 ， 就 是 通过 改变 号 码 状 态 在 系统 中 自动 完成 的 ， 比 如 宽 
带 和 固 话 的 安装 ,需要 安装 工人 根据 安装 地 点 、 配 置 、 时 限 要 求 等 在 现场 完成 配 线 、 配 号 、 
配 端口 等 工作 。 企 业 应 当 尽量 采用 自动 实施 工 单 或 者 客户 自助 服务 的 方式 来 降低 总 体 成 本 
并 降低 因为 人 工 操作 导致 的 错误 ， 对 于 复杂 的 操作 才 考 虑 采用 人 工 方式 。 


1.2.8 前 后 台 的 双簧 : 售后 阶段 的 业务 过 程 


企业 开通 为 客户 提供 的 服务 后 ， 客 户 就 可 以 使 用 企业 的 产品 了 。 客 户 在 使 用 产品 的 过 


| 1s 


第 1 章 
筑 巢 : 来 自 建筑 行业 的 启示 


程 中 ， 可 能 会 出 现 故障 ， 比 如 电话 掉 线 、 无 信号 、 无 法 上 网 、 多 收费 等 问题 或 者 对 于 产品 
的 资费 、 服 务 网 点 等 咨询 问题 。 

那么 ， 如 何 解 决 来 自 于 客户 反馈 或 者 企业 内 部 发 现 的 问题 ， 成 为 服务 保障 过 程 考虑 的 
内 容 。 售 后 阶段 的 业务 过 程 如 图 1-2-6 所 示 。 


客户 关系 管理 


客户 关系 管 
但 支撑 及 就 绪 


服务 运 曾 与 入 


服务 运营 支 | 务 目录 
抄 与 就 绪 


报告 公关 闭 资 


资源 运 党 与 管 更 、 _ 源 问题 报告 


. 慎 新 
资源 运营 支 | 9- 请求 更 新 配 乌 | 
撑 与 就 绪 下 


供应 商 /合作 伙伴 
运营 与 管理 

供应 商 /合作 
伙伴 运营 支 


图 1-2-6 企业 售后 阶段 业务 过 程 


从 图 1-2-6 可 以 看 出 , 企业 从 客户 接收 到 问题 并 对 问题 进行 处 理 ， 比 如 由 企业 客户 服 

务 中心 的 话务员 对 问题 进行 初步 分 类 和 记录 ， 然 后 分 发 给 服务 问题 管理 过 程 ， 服 务 问题 

管理 过 程 对 问题 进行 诊断 ， 更 新 服务 目录 ， 再 将 问题 发 给 资源 问题 管理 过 程 ， 资 源 问题 

管理 过 程 进行 诊断 ， 更 新 资源 目录 ， 然 后 将 问题 发 给 供应 商 /合作 伙伴 问题 管理 过 程 ， 该 

ote hte 然后 将 问题 发 给 供应 商 /合作 伙伴 处 理 ,等 接收 到 

结果 后 ， 将 各 个 过 程 环境 的 问题 处 理 结果 汇合 起 来 ， 然 后 将 最 终 处 理 结果 反馈 给 
全 
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1.2.9 ”无 利 不 起 早 : 企业 计 费 收费 过 程 


企业 通过 为 客户 提供 价值 来 获取 价值 ， 这 是 一 种 交换 。 当 客户 购买 产品 和 服务 时 ， 订 
单 中 体现 了 双方 价值 交换 的 内 容 ， 约 定 了 产品 和 服务 的 “ 价 ” 而 客户 使 用 产品 和 服务 的 
“ 量 ”， 则 是 在 客户 使 用 企业 提供 的 产品 和 服务 的 过 程 中 形成 的 。 下 面 就 通过 电信 运营 商 、 
银行 、 互 联网 公司 简单 看 一 下 计 费 收费 的 过 程 。 

对 于 电信 运营 商 来 说 ， 从 计 费 到 收费 / 交 费 包括 采集 、 批 价 、 计 费 、 出 账 、 交 费 充 值 几 
个 步骤 ， 计 费 的 数据 基础 为 业务 使 用 记录 ， 和 暂时 称 之 为 ADR (通话 记录 、 上 网 记录 、 短 信 
次 数 等 )。 在 xDR 采集 阶段 , 需要 收集 话 单 、 上 网 记录 、 增值 业务 使 用 记录 等 。 采集 的 xDR 
经 过 去 重 、 格 式 化 等 处 理 后 形成 批 价 的 输入 数据 源 ， 然 后 计 费 系统 再 根据 批 价 规则 进行 批 
价 ， 根 据 优惠 规则 进行 计 费 ， 然 后 将 各 种 业务 的 消费 情况 进行 汇总 形成 账单 后 出 账 。 对 于 
用 户 ， 可 以 通过 营业 厅 、 网 站 、 充 值 电话 等 渠道 进行 充值 缴费 。 

不 同 于 电信 运营 商 具 有 庞大 的 网 络 资源 ， 以 银行 为 代表 的 金融 企业 的 主要 收入 为 贷款 
人 的 利息 和 服务 费用 。 银 行 主要 通过 对 于 资金 的 有 效 配置 ， 收 集 社会 闲散 资金 并 将 资源 配 
置 到 那些 需要 资金 的 环节 中 。 与 电信 运营 商 类 比 ， 银 行 的 供应 商 为 存款 单位 和 个 人 ， 客 户 
是 从 银行 取得 贷款 的 企业 和 个 人 ， 银 行 的 职能 是 对 这 些 资 金 进行 运营 管理 ， 此 外 ， 银 行 也 
受 银监会 等 监管 机 构 的 监管 ， 存 贷款 需要 在 一 定 的 规则 下 完成 。 为 了 扩大 对 资金 的 利用 ， 
在 以 存 贷 款 业务 为 主 的 银行 之 外 又 衍生 出 了 多 个 金融 机 构 ， 比 如 保险 、 证 券 、 金 融 租 赁 等 ， 
这 些 机 构 的 经 营 模式 与 银行 又 有 很 大 的 不 同 。 

对 于 互联 网 公司 来 说 ， 商 业 模 式 有 很 大 的 不 同 。 以 提供 信息 服务 的 门户 网 站 为 例 ， 它 
们 的 商业 模式 主要 是 为 公众 客户 提供 信息 服务 ， 往 往 是 免费 的 ， 但 是 互联 网 公司 可 以 在 门 
户 网 站 上 植 入 广告 ， 向 发 布 广告 的 机 构 收取 费用 ， 业 界 称 之 为 反 向 收费 模式 ， 对 于 电子 商 
务 公司 ， 包 括 平 台 模式 、 自 建 自 营 、 自 建 他 营 等 诸多 商业 模式 ， 对 于 平台 模式 ， 互 联网 运 
营 商 通常 向 入 驻 商 家 收取 交易 佣金 ， 对 于 自 建 自 营 模式 的 互联 网 运营 商 ， 与 实体 店 类 似 ， 
目标 是 赚 取 产品 的 销售 利润 。 


1.2.10 无 声 的 发 动机 : 企业 内 部 管理 业务 过 程 


企业 对 外 完成 市 场 经 营 活动 ， 实 现 产品 与 服务 的 营销 、 销 售 及 服务 工作 ， 这 些 工 作为 
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企业 带 来 收入 和 利润 ， 但 这 些 前 台 光 鲜 的 工作 缺少 不 了 企业 后 台 的 管理 做 支撑 。 

企业 的 内 部 管理 业务 过 程 主要 包括 人 力 资源 管理 、 财 务 管理 、 资 产 管理 、 工 程 项 目 管 
理 。 此 外 ， 还 包括 协同 管理 、 风 险 管 理 、 知 识 管理 等 。 

“人 ”是 服务 型 企业 管理 的 关键 ， 人 力 资源 管理 包括 招募 、 有 用工、 选拔、 薪酬、 绩效 、 
离职 、 转 岗 、 合 同等 业务 活动 。“ 财 ”是 服务 型 企业 的 管理 核心 , 包括 财务 预算 、 会 计 核 算 、 
资金 支付 、 资 金 稽 核 、 财 务 报账 等 业务 活动 。“ 物 ”是 服务 型 企业 管理 的 重心 , 包括 资产 录 
入 、 资 产 盘点 、 资 产 折旧 、 资 产 报废 等 业务 活动 。 下 面 分 别 介绍 一 下 企业 内 部 各 个 过 程 的 
内 容 。 


1. 人力 资源 管理 过 程 


人 力 资源 的 管理 对 象 是 人 ， 人 力 资源 管理 以 人 为 管理 中 心 ， 包 括 人 员 基 本 信息 管理 、 
招聘 管理 、 薪 酬 管理 、 绩 效 考 核 管理 、 培 训 管 理 、 职 业 规划 管理 、 考 勤 管理 等 几 个 方面 
涵盖 员工 招募 、 团 队 建设 、 激 励 、 培 养 、 退 出 的 全 生命 周期 管理 。 

人 员 基本 信息 管理 包括 员工 编号 、 姓 名 、 学 历 、 工 作 经 历 、 教 育 经 历 、 岗 位 、 职 称 等 
信息 ;招聘 管理 包括 人 员 需 求 管理 、 招 聘 渠道 管理 、 招 聘 信 息 发 布 、 简 历 筛选 、 招 聘 通 知 、 
笔试 管理 、 初 试管 理 、 复 试管 理 、 录 用 管理 等 ， 薪 酬 管理 包括 基本 工资 管理 、 工 资 结构 管 
理 ， 工 资 结 构 中 包括 具体 的 工资 项 ， 如 基本 工资 、 书 报 费 、 取 暖 费 、 洗 理 费 、 社 保 、 公 积 
金 等 ;绩效 考 核 管理 包括 考核 指标 管理 、 考 核 报表 管 理 、 考 核 分 析 ; 培训 管理 包括 培训 机 
构 管理 、 培 训 讲师 管理 、 培 训 需 求 管理 、 培 训 效果 评估 等 ;职业 规划 管理 包括 职业 路 线 管 
理 ( 比 如 技术 路 线 、 管 理 路 线 )、 职 业 规划 访谈 、 职 业 规划 指导 、 职 业 规划 推荐 等 ， 考 勤 管 
理 包 括 签到 管理 、 签 退 管理 、 考 勤 统 计 、 事 假 管理 、 病 假 管理 等 。 


2. 财务 管理 过 程 


应 收 (AR)、 应 付 (AP)、 固 定 资产 (FA)、 总 账 〈GL) 是 财务 管理 的 核心 内 容 。 采 
购 (PO)、 库 存 (INV)、 项 目 会 计 (PA)、 项 目 开 单 (PB)、 现 金管 理 (CE) 等 过 程 也 与 
财务 管理 过 程 有 着 密切 的 关系 。 

应 收 ， 即 企业 应 当 收 取 客户 、 合 作 伙 伴 的 费用 ， 应 付 ， 即 企业 应 当 支 付 给 内 部 员工 、 
供应 商 、 合 作 伙伴 的 费用 ， 固 定 资产 ， 即 办 公 、 网 络 、 维 修 工具 等 方面 的 企业 内 部 资产 ， 
记录 了 资产 的 原 值 、 折 旧 率 、 折 旧 后 的 费用 等 ， 库 存 管理 ， 即 管理 定制 终端 ”网络 设备 、 
管理 工具 、 办 公用 品 等 暂时 存在 仓库 待 使 用 的 物品 。 总 账 管理 是 财务 管理 的 核心 过 程 ， 主 
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要 完成 会 计 和 财务 信息 的 记录 和 集 取 ， 完 成 财务 监测 和 控制 以 及 财务 信息 的 分 析 和 报告 。 
1.2.11 本 节 小 结 


从 企业 创办 之 日 起 , 就 会 与 企业 外 部 的 客户 、 供 应 商 、 合作 伙伴 以 及 企业 内 部 的 股东 、 
雇员 等 利益 相关 者 交互 ， 开 展 战 略 、 建 设 、 运 营 、 企 业 管理 等 业务 活动 ， 完 成 价值 的 创造 
与 交付 。 

由 于 企业 战略 、 建 设 、 运 营 、 管 理 的 业务 活动 相互 联系 、 相 互 制约 ,为 了 更 好 地 对 业 
务 活动 进行 管理 ， 需 要 采用 系统 化 的 思维 ， 采 用 分 层 分 类 的 方法 ， 实 现 对 企业 业务 活动 进 
行 有 效 的 管理 。 

本 节 从 时 间 轴 和 空间 轴 两 个 维度 ， 将 企业 业务 活动 划分 为 矩阵 型 的 过 程 块 ， 过 程 块 之 
间 相 互 配合 ， 协 同 完成 企业 面向 战略 、 业 务 、 管 理 方面 的 全 部 职能 。 

时 间 轴 角度 划分 过 程 块 是 过 程 化 思维 ， 从 总 体 上 将 企业 过 程 切割 成 从 企业 战略 、 基 础 
设施 生命 周期 管理 、 产 品 生命 周期 管理 、 运 营 支 持 与 就 绪 、 售 前 、 售 中 、 售 后 、 计 费 收 费 、 
企业 管理 等 多 个 子 过 程 。 

空间 轴 角 度 划 分 过 程 块 是 结构 化 思维 ， 以 客户 为 中 心 ， 按 照 从 客户 需求 到 客户 供给 的 
思路 ， 由 外 到 内 将 企业 支撑 结构 分 为 市 场 、 产 品 、 客 户 、 服 务 、 资 源 、 供 应 商 /合作 伙伴 几 
个 层次 。 

总 之 ， 从 时 间 维 和 空间 维 两 个 视角 ， 对 企业 业务 过 程 进行 管理 ， 形 成 企业 业务 过 程 管 
理 的 整体 框架 ， 按 照 分 层 的 方法 ， 将 企业 业务 过 程 划 分 为 不 同 层次 的 过 程 块 。 


1.3 信息: 企业 业务 活动 的 承载 者 


信息 与 业务 过 程 是 一 体 的 、 不 可 分 割 的 ， 业 务 过 程 是 动态 的 ， 信 息 是 静态 的 ， 两 者 相互 配合 ， 
组 成 了 各 种 各 样 的 业务 活动 。 


人 与 人 之 间 在 工作 与 生活 中 需要 交流 ， 交 流 的 内 容 会 以 信息 为 载体 传达 给 对 方 。 在 组 
织 中 ， 信 息 是 在 业务 过 程 中 形成 的 ， 因 此 ， 作 为 管理 信息 的 信息 框架 与 管理 业务 过 程 的 业 
务 过 程 框架 是 一 体 的 、 不 可 分 割 的 。 
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如 果 说 业务 过 程 是 动态 的 ， 可 以 用 动词 来 定义 ， 那 么 信息 则 是 静态 的 ， 可 以 用 名 词 来 
定义 。 为 了 理 清 企业 内 部 各 种 信息 之 间 的 关系 ， 首 先 需要 确定 参与 信息 交互 的 业务 对 象 ， 
然后 再 确定 业务 对 象 之 间 的 关系 。 业 务 对 象 也 可 以 称 为 参与 方 或 者 实体 ， 与 业务 过 程 按照 
层次 划分 不 同 ， 业 务 对 象 按照 颗粒 度 进行 划分 。 业 务 对 象 之 间 的 具有 不 同 的 关系 ， 比 如 包 


1.3.1 概念 模型 


与 数据 相 比 ， 信 息 是 属于 需求 域 的 。 信 息 模型 是 对 需求 的 刻画 ， 描 述 了 需求 域 中 业务 
对 象 之 间 的 关系 ， 通 常 也 称 为 概念 模型 ， 如 图 1-3-1 所 示 。 
可 能 提供 


日 .组 成 可 能 是 一 -一 


可 能 是 


产生 收入 [可 以 访问 


使 用 产生 费用 


1 存在 于 所 有 模型 于 


图 1-3-1 企业 概念 模型 示例 


之 所 以 将 信息 模型 称 为 概念 模型 ， 是 因为 它 是 对 现实 世界 的 一 种 表达 。 企 业 概 念 模型 
表达 了 企业 内 部 各 个 业务 对 象 之 间 的 关系 ， 通 过 概念 模型 ， 可 以 直观 地 看 到 现实 世界 中 各 
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个 对 象 以 及 它们 之 间 的 联系 。 

从 企业 运营 的 角度 看 , 一 个 企业 首先 应 当 具 有 自己 的 产品 , 当然 必然 会 有 自己 的 客户 ， 
那么 就 会 有 “客户 ”和 “产品 ”这 两 个 概念 模型 。 

其 次 ， 从 企业 为 客户 提供 产品 的 视角 看 ， 企 业 会 通过 “市 场 /销售 ”的 手段 将 “产品 ” 
传递 给 “客户 ” 如 果 “ 客 户 ” 与 企业 之 间 达 成 共识 ， 那 么 “客户 ”就 会 通过 “客户 定单 ” 
的 方式 来 实现 自身 需求 ， 当 “客户 定单 ”完成 后 ， 对 于 “企业 ” 则 需要 通过 “财务 ” 计 入 
应 收 账 款 ， 对 于 “客户 ” 则 在 支付 产品 或 服务 的 费用 的 同时 应 当 得 到 企业 提供 的 “发 票 ”。 
当 企 业 完成 以 上 活动 后 ,“ 客 户 ” 就 可 以 使 用 企业 提供 的 产品 了 ， 这 时 候 的 “客户 ”就 变 成 
“用 户 ” 了 。 

再 次 ， 从 企业 “产品 ”形成 的 过 程 看 ， 形 成 “产品 ”的 物质 基础 是 “资源 ”而 “ 资 
源 ” 也 分 为 相互 联系 的 两 种 类 型 : 物理 资源 和 逻辑 资源 。“ 物 理 资源 是 看 得 见 摸 得 着 的 “ 资 
源 ”， OO 包括 机 箱 、 主 板 、CPU、 内 存 、 硬 盘 、 网 卡 、 显 卡 等 。 
而 “逻辑 资源 ” 则 正好 相反 ， 它 是 人 类 通过 人 脑 抽象 出 来 的 ， 是 看 不 见 也 摸 不 着 的 ， 比 如 
和 人们 常常 说 的 手机 号 码 、 i 逻辑 端口 号 等 。 逻辑 资源 是 人 类 为 了 便于 管理 而 设计 的 ， 
它 就 像 给 一 个 人 取 一 个 名 字 ， 以 便 与 他 人 区 分 ， 抽 象 是 人 类 特有 的 。 因 此 “ 风 辑 资源 ” 比 
“物理 资源 ”要 灵活 ， 就 好 比 哲 学 中 抽象 和 具体 的 关系 ， 同 时 “逻辑 资源 ”必须 有 “物理 资 
源 ” 作 为 物质 基础 ， 比 如 在 实际 应 用 中 ， 卫 地 址 必然 对 应 着 一 台 具 体 的 机 器 设备 。 

然而 ， 无 论 是 “物理 资源 ”还 是 “逻辑 资源 ” 在 面向 外 部 市 场 方面 ， 都 存在 着 不 足 ， 
原因 是 客户 对 于 产品 的 需求 通常 不 是 单一 的 , 对 于 企业 来 说 , 为 了 市 场 营销 和 销售 的 需要 ， 
也 常常 会 对 多 个 “产品 ”进行 打包 。 为 了 解决 这 种 供需 之 间 的 矛盾 ， 引 入 了 “服务 ”概念 
模型 。“ 服务 ”不 同 于 “资源 ” 为 了 面向 市 场 中 客户 的 差异 化 、 多 变 的 需求 ,“ 服 务 ” 可 以 
对 多 个 “资源 ”的 能 力 进行 组 合 后 形成 “产品 ”的 基本 结构 ， 然 后 再 以 此 为 基础 ， 增 加 面 
向 市 场 的 其 他 元 素 ， 比 如 市 场 细 分 、 渠 道 、 价 格 、SLA 等 ， 最 终 形 成 一 个 面向 市 场 的 完备 
“产品 ”。 

当然 ,“ 服 务 ” 在 将 处 于 “供给 ” 侧 的 “资源 ”转变 为 面向 “需求 ” 侧 的 “产品 ”的 
过 程 中 ， 也 不 是 一 下 子 就 完成 的 ， 也 需要 一 个 从 “面向 资源 的 服务 ”到 “面向 客户 的 服务 ” 
的 转变 过 程 ， 之 所 以 有 这 样 的 划分 ， 主 要 是 消除 由 于 “供给 ”和 “需求 ”的 关注 点 不 同 而 
引发 的 问题 ， 实 现 平滑 过 渡 。 

最 后 , 虽然 解决 了 从 企业 内 部 “资源 ”供给 到 企业 对 外 “产品 ”提供 的 转变 , 但 是 “ 客 
户 ””“ 用 户 ”“ 供 应 商 ”“ 合 作 伙伴 ”等 业务 对 象 之 间 如 果 建 立 连接 关系 ， 以 上 概念 模型 
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将 变 得 非常 复杂 难 懂 ， 为 了 将 业务 对 象 之 间 的 复杂 关系 简单 化 ， 增 强 概念 模型 的 灵活 性 ， 
引入 了 “参与 方 ”。 

此 外 ， 像 “事件 ”” “策略 ”属于 共享 型 的 概念 模型 ， 因 此 不 单独 设计 ， 以 降低 概念 模 
型 的 复杂 性 。 

以 上 为 企业 的 整体 概念 模型 ， 概 念 模型 还 可 以 细 分 ,通信 设备 的 概念 模型 如 图 1-3-2 
所 示 。 


Physical Resource 


物理 资源 


Physical Device 


物理 设备 B— 一 一 一 E 件 人 


和 


Physical Port Physical Container 
| 物理 端口 设备 单元 ) | 
Intelligent Device Connection Device 
(EEE ) 价 | 


1 
Card/Board Auxiliary Component 


板 卡 /机 盘 )pp 辅助 设施 
Uy 让 


图 1-3-2 通信 设备 概念 模型 


从 图 1-3-2 可 以 看 出 ， 由 于 概念 模型 与 现实 世界 比较 接近 ， 因 而 比较 容易 理解 。 物 理 
资源 包含 物理 设备 、 硬 件 和 线路 线段 ， 硬 件 包 括 设备 单元 和 物理 端口 ， 通 过 概念 模型 构建 
以 上 设备 之 间 的 逻辑 关系 ， 可 以 将 现实 中 的 设备 在 软件 系统 中 有 效 地 管理 起 来 。 


1.3.2 ”信息 框架 
概念 模型 虽然 可 以 从 业务 视角 对 需求 进行 刻画 ， 但 是 如 果 概 念 模型 增多 ， 将 变 得 难以 
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管理 ， 为 了 实现 对 概念 模型 的 有 效 管理 ， 引 入 了 信息 框架 。 信 息 框 架 与 业务 过 程 框架 的 管 
理 方 式 类 似 ， 同 样 采用 分 域 、 分 层 的 方式 进行 管理 。 信 息 框 架 与 业务 过 程 框架 相对 ， 同 样 
是 分 为 市 场 /销售 、 产 品 、 客 户 、 服 务 、 资 源 、 供 应 商 /合作 伙伴 、 企 业 ， 共 7 个 域 ， 此 外 ， 
还 有 一 个 特殊 的 公共 业务 实体 ， 比 如 参与 方 、 项 目 、 位 置 、 协 议 等 。 信 息 框架 的 一 级 结构 
如 图 1-3-3 所 示 。 


产品 使 用 


[客户 问题 “| | 应 用 的 客户 效率 | | 客户 费用 采集 
客户 统计 。 || 客户 服务 水 平 客户 费用 查询 


试 


ET TT TT] 
| wm es we ts mn 


供应 页 /合作 伙 件 量 。。s/P 接 甬 SP 定单 SP 绩效 TE 
SP SP 机 用 在 刘 
SP 规划 S/P 服 务 SP 统计 SP 体 沈 


1-3-3 ”信息 框架 示例 〈 一 级 ) 


为 了 直观 地 看 到 信息 框架 和 业务 过 程 框架 在 业务 需求 管理 中 的 一 体 两 又 关系 ， 下 面 对 
这 两 个 框架 进行 对 比 ， 如 图 1-3-4 所 示 。 

从 图 1-3-4 可 以 看 出 ， 业 务 过 程 框架 中 的 第 一 层 〈 市 场 、 产 品 、 客 户 ) 在 信息 框架 中 
被 分 为 市 场 /销售 、 产 品 、 客 户 三 个 独立 的 域 。 其 他 域 如 服务 、 资 源 、 供 应 商 /合作 伙伴 、 
企业 管理 则 表现 为 一 对 一 的 关系 。 此 外 ， 与 业务 过 程 框架 不 同 ， 为 了 体现 业务 对 象 之 间 的 
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复 用 性 ， 降 低 业 务 对 象 之 间 的 复杂 性 ， 新 增 了 一 个 公共 业务 实体 域 。 


< 机 > re re 
Cr Ms Me | 
Ne 
Cw Meme Wn | 


学 ET Wn Wr rr 
Ez/ 合作 侈 作 HTT WT Wr 


IETRTT HET NET rm mm 
sn ETIE SI 


CCC 


图 1-3-4 业务 过 程 框架 与 信息 框架 对 比 


1.4 应用: 业务 与 技术 之 桥 


应 用 即 能 力 ， 它 填 平 了 业务 与 技术 之 间 的 鸿沟 ， 是 业务 与 技术 之 桥 ， 应 用 框架 又 称 为 能 力 蓝图 ， 
体现 了 业务 人 员 与 技术 人 员 的 共同 愿景 。 


业务 过 程 以 及 业务 过 程 中 产生 的 信息 是 对 业务 需求 的 描述 ， 但 是 要 想 提高 企业 的 运营 
效率 和 竞争 能 力 ， 还 必须 借助 信息 技术 ， 将 业务 需求 落地 到 信息 系统 之 中 。 为 了 理 清 业务 
需求 与 信息 系统 之 间 的 “界面 ” 引入 了 “应 用 ”的 概念 。 

从 业务 和 技术 的 特点 看 ， 业 务 是 对 现实 活动 的 抽象 ， 业 务 过 程 刻画 了 企业 为 完成 自身 
使 命 需要 做 的 “事情 ”， 比 如 企业 要 为 客户 提供 产品 ， 必 须 从 供应 商 处 采购 到 原材料 ， 从 市 
场 上 招募 到 合适 的 人 员 ， 取 得 企业 经 营 所 需 的 资金 等 ， 企 业 的 这 些 活动 与 是 否 存 在 信息 技 
术 是 没有 什么 直接 关系 的 。 

但 是 ， 自 从 信息 技术 的 出 现 ， 企 业 就 不 能 按照 古老 的 方式 经 营 了 ， 原 因 是 信息 技术 可 
以 提高 企业 的 生产 和 经 营 效率 ， 提 高 企业 的 经 营 管理 能 力 。 因 此 ， 企 业 要 想 借助 信息 系统 
支撑 各 种 业务 活动 ， 首 先 需要 将 业务 需求 转化 为 信息 技术 能 够 接受 的 需求 。 然 而 ， 业 务 与 
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技术 之 间 存 在 天 然 的 鸿沟 。 比 较 而 言 ， 业 务 语言 更 加 贴近 自然 语言 ， 相 对 发 散 ， 而 技术 语 
言 是 机 器 语言 ， 一 就 是 一 ， 二 就 是 二 ， 相 对 收敛 ， 这 也 就 形成 了 业务 人 员 和 技术 人 员 在 思 
维 方式 上 的 不 同 ， 为 了 让 业务 需求 落地 到 信息 技术 实现 ， 必 须 在 业务 语言 和 技术 语言 之 间 
找到 一 个 “中 介 ” 而 这 个 中 介 物 就 是 “应 用 ”。 
“应 用 ”也 可 以 叫 作 “ 能 力 ” 对 于 业务 人 员 来 说 ， 他 们 不 一 定 要 掌握 各 种 信息 技术 ， 
但 是 他 们 可 以 提出 对 于 信息 技术 的 “能 力 ” 需 求 。 同 样 ， 对 于 技术 人 员 来 说 ， 他 们 不 一 定 
精通 业务 ， 但 是 可 以 按照 业务 人 员 的 “能 力 ”需求 完成 信息 系统 的 设计 与 实现 。 这 样 ， 业 
务 人 员 和 技术 人 员 就 能 够 以 “应 用 ”为 纽带 ， 实 现 沟通 和 理解 。 比 如 ， 业 务 人 员 可 以 对 信 
息 系 统 提出 业务 查询 响应 时 间 在 3 秒 以 内 的 “能 力 ” 需 求 ， 那 么 技术 人 员 设 计 的 信息 系统 
应 当 能 够 在 3 秒 之 内 反馈 查询 结果 , 这 就 是 业务 人 员 和 技术 人 员 对 信息 系统 达成 的 “能 力 ” 
共识 。 
“应 用 ”除了 承担 业务 人 员 和 信息 技术 人 员 之 间 “ 共 同 语言 ”的 角色 之 外 ， 在 买方 和 
卖方 之 间 还 充当 “合约 ”的 角色 ， 买 卖 双 方 可 以 “应 用 ”作为 标的 物 ， 确 定 产品 的 能 力 要 


1.4.1 应 用 框架 /能 力 蓝图 


应 用 是 相关 功能 以 及 其 他 相关 应 用 的 集合 体 。 应 用 在 业务 人 员 和 技术 人 员 之 间 拱 起 一 
座 桥 梁 ， 实 现 双方 的 “理解 >。 业 务 人 员 可 以 对 技术 人 员 说 :“ 你 们 需要 实现 这 些 能 力 ， 这 
是 我 们 的 需求 ， 有 了 这 些 能 力 ， 我 们 的 业务 能 力 就 强大 了 ! 7”; 技术 人 员 也 担心 自己 说 的 话 
太 “ 技 术 ”， 业 务 人 员 听 不 懂 ， 并 且 担 心 因为 没有 沟通 好 而 白 做 了 工作 ， 于 是 问 业 务 人 员 : 
“系统 实现 这 些 能 力 就 满足 你 们 的 需求 了 吗 ? ”业务 人 员 明 确 地 回答 :“ 是 这 样 的 !” 

应 用 框架 也 称 为 能 力 蓝图 ， 可 见 应 用 框架 是 能 力 的 集合 体 。 应 用 框架 是 业务 过 程 框架 
向 技术 实现 的 进一步 收敛 ， 同 时 也 包括 了 公用 的 应 用 ， 屠 是 因为 应 用 具备 了 技术 特征 ， 而 
技术 是 可 以 复 用 的 。 

应 用 框架 与 业务 过 程 框架 相对 应 ， 从 纵向 看 ， 包 括 战 略 、 基 础 设施 生命 周期 管理 、 产 
品 生命 周期 管理 、 运 营 准备 、 服 务 开通 、 服 务 保障 、 服 务 计 费 ， 这 些 与 业务 过 程 的 分 类 是 
一 致 的 。 从 横向 看 ， 包 括 市 场 /销售 域 、 产 品 管理 域 、 客 户 管理 域 、 服 务 管理 域 、 资 源 管理 
域 、 供 应 商 /合作 伙伴 管理 域 以 及 企业 管理 域 , 这 些 与 业务 过 程 框架 基本 上 是 一 致 的 。 此 外 ， 
还 包括 交叉 域 和 集成 架构 域 ， 前 者 是 其 他 域 共用 的 ， 而 后 者 则 是 实现 应 用 之 间 集 成 而 需要 
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的 能 力 。 一 级 应 用 架构 如 图 1-4-1 所 示 。 
以 产品 管理 域 中 产品 生命 周期 管理 应 用 为 例 ， 其 能 力 要 求 如 下 : 
。 提取 产品 需求 。 
。 产品 建 模 。 
。 提供 详细 的 产品 规格 。 
。 新 产品 引入 。 
。 管理 现 有 产品 。 
。 产品 废弃 /退出 。 
。 市 场 与 定价 战略 实施 。 


1-4-1 应 用 框架 (1 级 ) 


能 力 蓝图 是 企业 对 于 目标 或 者 当前 信息 系统 具备 能 力 的 期 望 或 者 评价 ， 通 过 能 力 蓝 
图 , 可 以 直观 地 看 到 企业 对 于 信息 系统 能 力 的 要 求 , 便于 企业 信息 系统 能 力 差距 对 比分 析 ， 
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也 便于 企业 进行 信息 系统 产品 和 服务 的 采购 。 
1.4.2 ”应 用 框架 与 业务 框架 
应 用 是 业务 向 信息 系统 的 收敛 ， 因 此 应 用 必然 来 源 于 业务 ， 为 了 清晰 、 直 观 地 看 到 业 


务 与 应 用 的 关系 ， 下 面 就 对 其 进行 初步 的 对 比分 析 ， 业 务 过 程 框架 、 信 息 框架 与 应 用 框架 
的 总 体 对 比如 图 1-4-2 所 示 。 


WE CTT ET 
TT BT ETT 
ee 


N\A | 
UT EN ERT Be 
Cm 


图 1-4-2 ”业务 过 程 框架 、 信 息 框架 与 应 用 框架 的 关系 


为 了 对 应 用 进行 有 效 的 管理 ， 应 用 框架 内 部 划分 为 多 个 域 。 从 图 1-4-2 可 以 看 出 ， 业 
务 过 程 框架 与 应 用 框架 之 间 既 有 区 别 又 有 联系 ,相同 点 是 : 基本 上 按照 市 场 、 产 品 、 客 户 、 
服务 、 资 源 、 供 应 商 /合作 伙伴 、 企 业 管 理 的 分 类 方式 进行 管理 ， 不 同 之 处 是 应 用 框架 不 像 
业务 过 程 框架 那样 分 为 企业 战略 、 基 础 设施 生命 周期 管理 、 产 品 生命 周期 管理 以 及 企业 运 
营 两 大 部 分 ， 而 是 以 市 场 /销售 、 产 品 、 客 户 、 服 务 、 资 源 、 供 应 商 / 合 作 伙 伴 为 主题 进行 
了 收敛 ， 其 目的 是 消除 业务 过 程 框架 中 按时 间 段 划分 业务 对 象 而 增加 的 管理 难度 ， 这 也 是 
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“能 力 ” 视 角 与 业务 视角 最 大 的 区 别 。“ 业务” 视角 着 重 依照 业务 的 开展 情况 来 刻画 业务 本 

原 ， 而 “能 力 ” 视 角 则 是 将 “发 散 ” 的 业务 需求 “收敛 ”为 多 个 不 同 的 主题 域 ， 这 样 更 便 

于 信息 系统 的 实现 。 

同 理 ， 由 于 对 于 信息 的 管理 不 必 太 关注 业务 实施 的 时 间 先 后 顺序 ， 因 此 信息 框架 与 应 

用 框架 类 似 ， 也 采用 面向 不 同 主题 的 管理 方式 ， 以 被 管 对 象 为 中 心 进行 了 收敛 。 

应 用 框架 与 业务 过 程 框架 和 信息 框架 除了 以 上 的 区 别 之 外 ， 还 考虑 了 应 用 的 复 用 问 

题 ， 因 此 新 增 了 公用 应 用 支撑 域 ， 这 个 域内 的 应 用 是 可 以 被 其 他 域 的 应 用 所 使 用 的 ， 比 如 

目录 管理 、 故 障 管理 等 ， 这 点 与 信息 框架 中 的 公共 业务 实体 类 似 。 

此 外 ， 应 用 框架 中 还 新 增 了 公共 基础 设施 支撑 域 ， 公 共 基 础 设施 支撑 域 同 样 是 从 复 用 

性 角度 考虑 的 ， 包 括 服务 总 线 、 业 务 流 程 管理 、 中 间 件 等 。 以 业务 流程 管理 为 例 ， 服 务 定 

单 管 理应 用 可 以 基于 它 来 完成 定单 到 工 单 的 分 解 ， 产 品 生命 周期 管理 应 用 也 可 以 基于 它 完 
成 产品 从 就 绪 到 上 架 过 程 的 转变 ， 因 此 业务 流程 管理 属于 共享 型 应 用 。 


1.5 功能: 特定 任务 的 执行 单元 


功能 以 应 用 /能 力 需 求 为 输入 ， 采 用 信息 技术 手段 ， 将 能 力 需 求 转化 为 用 户 可 以 使 用 的 、 具 有 特 
定 规格 要 求 的 单元 。 


功能 用 于 执行 特定 任务 ， 是 能 力 的 实现 。 功 能 对 应 的 英文 名 称 为 function"， 维 基 百 科 
对 function 的 解释 为 : subroutine, a portion of code within a larger program, performs a specific 
task， 中 文 意思 为 : 功能 是 子 例 程 ， 是 大 型 程序 中 执行 特定 任务 的 一 部 分 代码 。 

英国 商务 部 OGC 制定 的 ITIL 第 三 个 版 本 中 对 于 功能 有 更 加 详细 的 定义 : Functions are 
units of organizations specialized to perform certain types of work and be responsible for 
specific outcomes， 中文 意思 为 : 功能 是 组 织 中 专门 执行 特定 类 型 工作 的 单元 并 且 负 责 输出 
具体 的 结果 。 

可 见 ， 功 能 是 与 特定 的 任务 /工作 挂钩 的 ， 并且 具 有 特定 的 输入 和 输出 。 功 能 框架 就 是 
功能 的 集合 体 ， 功 能 以 应 用 /能 力 需 求 为 输入 ， 采 用 信息 技术 手段 ， 将 能 力 需求 转化 为 用 户 
可 以 使 用 的 、 具 有 特定 规格 要 求 的 单元 《unit)。 

下 面 就 以 日 常 工作 中 经 常 接触 的 办 公 自 动 化 系统 为 例 对 功能 进行 说 明 ， 如 图 1-5-1 
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所 示 。 


办 公 自 动 化 系统 功能 


个 日 常 办 公 站 会 议 管理 办 公 辅 助 系统 管理 


工作 监控 会 议 纪 i 
Ns NN Ne 


收文 管理 物品 管理 组 织 

发 文 管理 计划 审批 车 辆 管理 人 员 管 理 

电子 邮件 会 议 查询 图 书 管理 流程 管理 
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图 1-5-1 办 公 自 动 化 系统 功能 


从 图 1-5-1 可 以 看 出 ， 办 公 自 动 化 系统 在 功能 设计 时 ， 会 划分 为 若干 功能 模块 ， 各 个 
功能 模块 各 司 其 职 ， 完 成 特定 的 功能 ， 同 时 功能 之 间 又 相互 配合 、 相 互 支持 。 
以 产品 管理 域 中 产品 生命 周期 管理 应 用 为 例 , 其 能 力 要 求 与 系统 功能 的 对 比如 表 1-5-1 
所 示 。 
表 1-5-1 应 用 能 力 与 系统 功能 对 比 表 


对 应 系统 功能 
产品 设计 管理 
产品 设计 管理 
产品 设计 管理 

产品 开发 
产品 目录 管理 
产品 绩效 管理 
产品 废弃 /退出 产品 变更 与 撤销 
7 市 场 与 定价 战略 实施 党争 对 手 产 品 管理 


可 见 ， 应 用 能 力 要 求 与 系统 功能 之 间 并 不 是 一 对 一 的 关系 ， 应 用 能 力 是 业务 人 员 与 技 
术 人 员 在 能 力 层面 达成 的 共识 , 而 系统 功能 则 是 以 应 用 能 力 为 输入 的 , 在 模块 化 、 高 内 聚 、 
低 耦 合 等 设计 原则 的 指导 下 形成 的 。 

能 力 、 应 用 、 功 能 三 个 概念 从 不 同 侧面 定义 系统 要 求 。 能 力 从 用 户 需求 角度 定义 系统 
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要 求 ， 业 务 用 户 无 须 关 心 信息 系统 的 技术 实现 细节 ， 只 需 对 信息 系统 提出 具体 的 支撑 能 力 
要 求 。 应 用 则 是 一 系列 功能 的 集合 ， 是 从 业务 需求 角度 对 能 力 需 求 的 整理 ， 应 用 使 得 业务 
需求 与 信息 系统 更 加 贴近 ， 但 又 不 与 技术 实现 方式 捆绑 在 一 起 ， 因 此 具有 一 定 的 稳定 性 。 
功能 则 由 信息 系统 承载 ， 更 加 具体 ， 有 明确 的 输入 输出 要 求 。 


1.6 数据 : 信息 社会 的 永恒 记忆 


“数据 ”是 经 过 电子 设备 采集 并 存储 后 的 载体 ， 从 业务 需求 到 技术 实现 , 通过 概念 模型 和 逻辑 模 
型 来 定义 数据 及 其 关系 ， 通 过 物理 模型 来 实现 对 数据 的 承载 。 


1.6.1 数据 定义 及 其 价值 


前 文 探 讨 了 “信息 ” 把 其 归 为 业务 层面 ， 即 信息 是 在 业务 过 程 中 形成 的 。 比 如 业务 
人 员 和 叙述 其 工作 内 容 会 说 “我 们 这 款 产品 主要 针对 年 龄 18 到 27 岁 之 间 的 客户 ” 那么 这 就 
是 一 条 传递 产品 特征 的 信息 。 业 务 人 员 会 提供 很 多 类 似 这 样 的 信息 ， 但 是 这 样 的 “信息 ” 
不 能 原封 不 动 地 放 到 信息 系统 中 ， 因 为 信息 是 自然 描述 的 、 发 散 的 ， 为 了 使 得 业务 需求 中 
的 “信息 ”能 够 被 信息 系统 接受 ， 需 要 在 信息 系统 分 析 与 设计 阶段 ， 将 这 些 “ 信 息 ” 转 变 
为 “数据 ”当然 ， 这 里 的 “信息 ”并 不 是 前 面 信息 框架 中 提 到 的 “信息 ” 而 是 人 类 之 间 
为 了 沟通 交流 而 传递 的 内 容 。 

从 “数据 ”的 字面 看 ， 数 据 包 括 “ 数 字 ” 和 “依据 ”两 层 含义 ， 从 上 面 的 “信息 ” 例 
子 中 ， 可 以 抽取 出 18、27 这 样 的 数字 ， 同 样 ， 笔 者 认为 这 就 是 产品 特征 定义 的 “依据 ”， 
这 个 “依据 ”来 源 于 业务 需求 。 

在 信息 技术 普及 的 初级 阶段 ， 以 上 说 法 还 勉强 说 得 过 去 ， 因 为 当时 信息 系统 的 作用 主 
要 是 将 纸 质 媒体 记录 的 内 容 转 变 为 计算 机 能 够 记忆 的 电子 信息 ， 通 常 是 将 以 上 信息 按照 二 
维 表 的 形式 进行 存放 ， 计 算 机 的 作用 更 多 地 体现 为 对 传统 媒体 的 电子 化 ， 通 过 电子 化 实现 
信息 的 共享 ， 提 高 工作 效率 。 

随 着 信息 技术 的 不 断 发 展 ， 出 现 了 图 片 、 语 言 、 视 频 等 多 种 媒体 形式 ， 这 些 媒体 同样 
是 信息 和 数据 的 记录 ， 当 然 底层 都 是 1 和 0 这 样 的 二 进 制 形式 ， 从 而 使 得 数据 的 覆盖 范围 
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更 广 ， 当 前 ， 我 们 可 以 将 一 切 通过 电子 形式 记录 的 信息 统统 称 为 “数据 ”。 

如 果 将 “信息 ”定义 为 现实 世界 中 存在 的 载体 ， 那 么 “数据 ” 则 是 经 过 电子 设备 采集 
并 存储 后 的 载体 。 随 着 信息 技术 和 网 络 技术 的 发 展 ， 无 论 是 人 和 社会 的 活动 还 是 自然 环境 
的 变化 ， 都 可 以 以 “数据 ”的 形式 ， 以 多 种 媒体 形式 、 不 同 格式 记录 下 来 。 如 果 人 们 能 
利用 这 些 数据 ， 挖 据 其 中 的 价值 ， 将 会 是 一 件 非常 有 意义 的 事情 。 由 于 这 些 数据 具有 规模 
大 、 形 成 速度 快 、 类 型 多 样 以 及 价值 性 低 的 特点 ， 业 界 将 其 称 之 为 “大 数据 ”。 


1.6.2 ”数据 建 模 与 存储 


在 业务 需求 分 析 过 程 中 ， 概 念 模型 描述 了 业务 对 象 之 间 的 关系 ， 但 概念 模型 毕竟 只 是 
业务 侧 的 一 种 表述 方式 ， 为 了 支持 系统 功能 的 实现 ， 还 需要 对 其 进一步 的 设计 。 

当前 ， 为 了 对 数据 进行 有 效 管理 ， 形 成 了 多 种 类 型 的 数据 库 ， 比 如 以 关系 代数 为 理论 
基础 的 关系 型 数据 库 、 以 面向 对 象 为 理论 基础 的 面向 对 象 数据 库 以 及 面向 文档 管理 的 文档 
数据 库 ( 例 如 IBM 的 Lotus 数据 库 ) 等 。 由 于 每 一 种 数据 库 都 有 其 适用 范围 ， 同 时 每 一 类 
数据 库 都 有 不 同 的 数据 库 实现 产品 ， 为 了 使 得 数据 模型 能 够 适应 这 些 情况 ， 保 持 数 据 模型 
的 稳定 性 以 及 对 不 同 数据 库 产品 的 适应 性 ， 通 常 将 数据 模型 分 为 逻辑 模型 和 物理 模型 两 种 
类 型 。 

逻辑 模型 侧重 从 业务 角度 来 考虑 实体 /对 象 之 间 的 关系 ,不 同 于 概念 模型 ， 届 辑 模型 更 
加 具体 和 细 化 ， 对 于 关系 型 数据 库 ， 通 常 采用 范式 设计 方法 ， 根 据 业 务 需 求 的 不 同 采用 不 
同 的 范式 。 为 了 更 好 地 理解 逻辑 模型 , 下面 举例 说 明 。 电 信 运 营 商 的 三 户 逻 辑 模型 如 图 1-6-1 
所 示 。 

从 图 1-6-1 可 以 看 出 ， 一 个 客户 可 以 购买 企业 的 多 个 产品 ， 每 购买 一 个 产品 就 意味 着 
形成 一 个 订购 实例 ， 因 此 客户 和 订购 实例 之 间 是 一 对 多 的 关系 ， 同 样 ， 由 于 客户 既 包 含 购 
买 者 ， 也 包括 使 用 者 ， 这 就 意味 着 一 个 订购 实例 对 应 多 个 客户 ， 因 此 ， 客 户 与 订购 实例 之 
间 为 多 对 多 关系 。 通 过 引入 第 三 范式 消除 数据 元 余 ， 在 客户 和 订购 实例 逻辑 模型 之 间 增 加 
客户 订购 实例 关系 逻辑 模 型 ， 从 而 将 逻辑 模型 之 间 的 关系 变 为 一 对 多 的 关系 。 

顾名思义 ， 物 理 模型 就 是 那个 最 终 要 填充 数据 的 模型 。 由 于 某 个 具体 的 数据 库 会 有 不 
同 于 其 他 数据 库 的 特性 ， 物 理 模型 需要 与 具体 的 某 个 数据 库 产品 对 应 ， 比 如 数据 项 类 型 、 
长 度 等 在 不 同 的 数据 库 产 品 之 间 不 一 定 完全 相同 ， 比 如 整 型 在 SQL Server 数据 库 中 以 int 
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图 1-6-1 电信 运营 商 三 户 逻 辑 模型 


除了 不 同 的 数据 库 产 品 在 数据 类 型 的 定义 方面 存在 差异 之 外 ， 其 他 方面 也 可 能 存在 很 
多 区 别 ， 比 如 数据 定义 和 数据 操作 语言 SQL， 通 常 是 在 标准 SQL 的 基础 上 做 了 扩展 ， 因 


此 在 考虑 采用 用 哪 一 种 数据 库 时 ， 


选择 适合 的 数据 库 产品 。 


一 定 要 综合 数据 库 产 品 的 价格 、 特 性 、 售 后 服务 等 方面 ， 


与 业务 过 程 经 历 了 从 业务 过 程 一 能 力 蓝 图 一 技术 实现 的 逐步 落地 过 渡 过 程 类 似 ， 数 据 
模型 同样 也 经 历 了 从 概念 模型 一 逻辑 模型 一 物理 模型 逐步 落地 的 过 渡 过 程 ， 如 图 1-6-2 


所 示 。 


从 图 1-6-2 可 以 看 出 ， 业 务 过 程 与 数据 模型 都 是 从 业务 需求 逐步 过 渡 到 具体 实现 的 ， 
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但 都 不 是 一 次 到 位 的 ， 都 经 历 了 中 间 一 个 过 渡 阶 段 。 之 所 以 这 样 做 的 原因 是 由 于 专业 化 分 
工 不 同 ， 各 参与 方 的 背景 知识 不 同 ， 业 务 和 技术 人 员 对 于 同一 个 事物 的 理解 也 不 一 样 的 ， 
为 了 消除 这 种 差异 以 及 更 好 地 做 好 各 自 擅长 的 工作 ， 需 要 通过 一 个 中 间 媒 介 来 促进 共识 。 
对 于 业务 过 程 来 说 ， 需 要 通过 能 力 蓝图 来 达成 业务 人 员 与 技术 人 员 的 共识 ， 对 于 数据 模型 
来 说 ， 需 要 通过 罗 辑 模型 达成 业务 人 员 与 技术 人 员 的 共识 。 


图 1-6-2 ”业务 过 程 侧 与 数据 模型 侧 从 业务 到 实现 的 过 渡 过 程 对 比 


1.6.3 ”数据 的 分 类 


数据 可 以 按 多 种 方式 分 类 。 按 照 数据 的 媒体 类 型 可 以 分 为 文本 数据 、 语 音 数据 、 视 频 
数据 、 图 片 数 据 等 ， 按 照 数据 的 用 途 分 为 生产 型 数据 、 分 析 型 数据 ， 生 产 型 数据 主要 是 在 
生产 生活 过 程 中 产生 的 , 可 能 由 采集 设备 采集 产生 , 也 可 能 由 人 通过 使 用 信息 系统 时 产生 ， 
比如 某 个 人 在 网 上 购物 ， 那 么 在 该 网 站 上 就 留 下 了 其 浏览 、 搜 索 、 购 物 车 、 下 单 、 支 付 、 
投诉 等 数据 ， 如 果 某 企业 在 其 他 企业 采购 原材料 ， 那 么 在 该 企业 的 采购 系统 中 就 形成 了 企 
业 物 资 采购 的 数据 ， 包 括 采购 合同 、 付 款 、 发 票 等 数据 ; 如果 政府 部 门 进行 人 口 普查 ， 那 
么 政府 的 普查 系统 中 就 保留 了 公民 的 姓名 、 年 龄 、 籍 贯 、 出 生地 、 身 份 证 号 、 家 庭 成 员 、 
教育 等 数据 。 

与 生产 型 数据 不 同 ， 分 析 型 数据 以 生产 型 数据 为 基础 ， 目 标 是 指导 生产 生活 中 的 各 种 
决策 ， 比 如 企业 通过 统计 分 析 ， 可 以 找 出 数据 之 间 的 联系 、 找 出 规律 ， 从 而 指导 决策 。 分 
析 型 数据 的 数据 基础 是 对 生产 型 数据 进行 加 工 、 清 洗 、 转 换 、 丰 富 等 形成 的 ， 根 据 不 同 主 
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题 的 需要 ， 对 数据 进行 建 模 ， 以 便 更 好 地 找 出 数据 背后 隐藏 的 规律 ， 为 决策 提供 参考 
1.7 集成 : 价值 网 络 时 代 的 整合 者 


集成 的 目的 就 是 将 整体 中 的 各 个 部 分 粘 合 起 来 ,借助 业务 服务 ， 可 以 实现 对 业务 过 程 、 信 息 、 
应 用 、 数 据 、 技 术 等 元 素 的 有 效 集成 。 


从 企业 战略 到 生产 再 到 运营 是 一 个 非常 复杂 的 系统 工程 ， 为 了 解决 这 个 复杂 问题 ， 通 
常 采用 分 而 治之 〈divide and conquer) 的 方法 ， 通 过 对 业务 过 程 、 数 据 模型 的 分 层 分 类 ， 
使 得 企业 能 够 灵活 、 快 速 地 响应 外 部 市 场 的 变化 。 

当 问 题 域 被 分 解 后 ， 无 论 是 对 业务 需求 还 是 信息 系统 ， 都 带 来 了 另外 新 的 问题 ， 那 就 
是 模块 之 间 的 集成 问题 ， 即 如 何 把 这 些 独立 的 模块 有 效 地 集成 起 来 ， 以 满足 特定 功能 的 需 
要 。 集 成 框架 的 目标 就 是 解决 这 些 问 题 。 


1.7.1 业务 层面 的 集成 


为 了 解决 集成 问题 ， 可 以 采用 业务 服务 (Business Services) 的 方式 ， 将 业务 过 程 、 信 
息 、 应 用 、 数 据 、 技 术 几 个 框架 中 的 元 素 集成 起 来 。 

集成 框架 中 的 基本 元 素 就 是 服务 ， 每 个 服务 可 能 是 一 个 原子 服务 ， 也 可 能 是 一 个 组 合 
服务 ， 每 个 服务 可 能 有 自身 依赖 的 服务 ， 也 可 能 作为 其 他 服务 的 输入 ， 多 个 服务 以 价值 链 
思维 为 导向 ， 可 以 直观 、 准 确 地 描述 一 个 业务 ， 可 以 很 好 地 适应 外 部 需求 变化 。 

按照 服务 的 性 质 ， 可 以 将 服务 分 为 三 种 类 型 : 以 任务 〈task) 为 中 心 的 服务 、 以 实体 
Centity) 为 中 心 的 服务 和 以 效用 (utility) 为 中 心 的 服务 。 以 任务 为 中 心 的 服务 是 从 动态 角 
度 定义 服务 的 ， 比 如 “融合 业务 订单 处 理 ” 就 是 一 个 以 任务 为 中 心 的 服务 ;以 实体 为 中 心 
的 服务 是 从 静态 角度 定义 服务 的 ， 比 如 客户 资料 查询 、 账 单 、 详 单 查询 等 ， 都 是 以 客户 、 
账户 等 业务 对 象 为 中 心 的， 因此 可 以 称 为 以 实体 为 中 心 的 服务 。 此 外 ， 有 些 服务 并 不 是 业 
务 角度 能 够 确定 的 ， 这 些 服务 是 为 了 更 好 地 支撑 业务 的 实现 ， 属 于 公共 服务 ， 比 如 日 志 服 
务 、 异 常 处 理 服务 等 ， 这 些 服务 就 是 以 效用 为 中 心 的 服务 ， 相 当 于 任务 服务 和 实体 服务 的 
公共 设施 (utility) 服务。 
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服务 描述 包括 服务 的 内 容 、 性 质 、 生 命 周期 等 ， 如 果 具 有 技术 限制 或 要 求 ， 也 需要 描 
述 服务 实现 的 技术 手段 。 服 务 表达 公式 为 : 服务 描述 = 服务 名 称 + 服 务 类 别 + 依 赖 服务 + 支撑 
服务 + 服务 周期 + 技术 依赖 。 举例 为 : 融合 业务 订单 处 理 服务 = 融合 业务 订单 处 理 + 以 任务 为 
中 心 的 服务 + 融合 业务 订单 接收 服务 + 融合 业务 订单 回笼 服务 +1 年 +JDK5.0。 业 务 服务 从 定 
义 到 实现 的 过 程 如 图 1-7-1 所 示 。 

从 图 1-7-1 可 以 看 出 ， 业 务 服务 是 集成 的 核心 元 素 。 业 务 服务 分 别 来 自 于 以 任务 为 中 
心 的 业务 过 程 框架 、 以 实体 为 中 心 的 信息 框架 以 及 以 效用 为 中 心 的 应 用 框架 。 当 业务 服务 
设计 完成 后 ， 就 可 以 进行 组 件 的 定义 和 接口 的 定义 了 ， 组 件 主要 用 于 信息 系统 内 部 ， 组 件 
需要 遵循 SCA (服务 组 件 架构 ) 和 SDO (服务 数据 对 象 ) 规范 ,接口 用 于 信息 系统 之 间 的 
集成 。 当 完成 组 件 和 接口 的 定义 以 后 ， 就 可 以 进行 代码 的 创建 、 软 件 开 发 、 测 试 等 后 续 实 
现 过 程 了 ， 最 终 形 成 满足 业务 需求 的 信息 系统 。 


提供 以 实体 为 中 心 的 服务 


提供 以 效用 为 
中 心 的 服务 


1 
| 
1 
图 1-7-1 业务 服务 从 定义 到 实现 的 过 程 


集成 框架 以 业务 服务 为 中 心 ， 一 方面 是 为 了 构建 面向 服务 的 企业 ， 另 一 方面 ， 采 用 价 
值 链 思 维 ， 使 得 企业 可 以 柔性 地 适应 外 部 环境 ， 与 其 他 企业 进行 平滑 地 对 接 ， 快 速 灵 活 地 
适应 外 部 市 场 变化 。 


1.7.2 ”技术 层面 的 集成 


技术 总 是 不 断 发 展 变化 的 , 1.7.1 中 为 了 解决 因为 技术 变化 提出 了 采用 业务 服务 集成 的 
办 法 , 尽管 如 此 , 集成 问题 最 终 还 要 体现 在 信息 系统 之 间 的 集成 ,也 就 是 技术 层面 的 集成 。 
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当然 ,如果 企业 只 有 一 个 系统 就 并 不 存在 系统 之 间 的 集成 问题 ,但 是 企业 为 了 提升 扩 
展 性 和 灵活 性 , 通常 规划 并 建设 了 许多 信息 系统 , 这 些 独 立 的 信息 系统 分 别 承 载 不 同 的 功 
能 。 某 个 业务 往往 需要 通过 多 个 信息 系统 之 间 的 集成 才能 实现 。 比 如 ， 电 信 运 营 商 为 了 完 
成 某 个 业务 的 开通 , 往往 需要 集成 多 个 信息 系统 , 比如 电子 渠道 系统 、 客 户 关 系 管理 系统 、 
综合 计 费 账 务 系统 、 服 务 开通 系统 、 资 源 管理 系统 。 将 应 用 分 解 到 多 个 独立 系统 最 大 的 好 
处 就 是 不 会 因为 某 个 小 的 功能 改变 而 重新 构建 所 有 信息 系统 ， 这 样 可 以 提升 系统 的 灵 
活性 。 

信息 系统 之 间 集成 有 很 多 具体 的 实现 方式 ， 包 括 FTP、Socket、Web Service、DBLink 
等 ， 既 可 以 采用 企业 内 部 私有 协议 ， 又 可 以 采用 公共 协议 。FTP 协议 的 优点 是 简单 、 高 效 ， 
通常 用 于 信息 系统 之 间 批 量 传送 数据 文件 ， 缺 点 是 数据 质量 和 数据 安全 难以 保证 。 如 果 信 
息 系 统 之 间 为 单个 接口 、 少 量 数据 的 调用 ， 则 通常 采用 Socket 或 者 Web Service 等 接口 方 
式 ， 由 于 Web Service 为 标准 化 的 接口 调用 方式 ， 实 现 方式 具有 与 底层 实现 平台 的 无 关 性 ， 
因此 更 容易 实现 异 构 〈 不 同 操作 系统 ) 之 间 的 集成 ， 但 是 这 种 跨 平 台 性 也 是 采用 在 原 有 协 
议 基础 上 增加 Header 为 代价 的 ， 相 对 于 Socket 接口 方式 增加 了 更 多 的 打包 与 解析 动作 ， 
进而 花费 了 更 多 的 资源 与 时 间 ， 因 此 接口 效率 上 会 差 一 些 ， 对 于 那些 实时 性 较 高 的 应 用 可 
以 考虑 采用 Socket 等 私有 协议 。 

当然 ， 网 络 质量 、 设 备 可 靠 性 、 应 用 程序 健壮 性 等 因素 可 能 引起 数据 丢失 、 安 全 性 、 
可 靠 性 降低 等 问题 , 进而 影响 到 业务 提供 的 质量 , 因此 需要 采用 一 些 手段 来 消除 以 上 不 足 ， 
比如 定期 的 数据 重 核 、 数 据 审计 等 ， 对 传输 失败 的 数据 进行 重 传 ， 最 大 限度 地 消除 因 信 息 
系统 集成 带 来 的 问题 。 

随 着 技术 架构 的 不 断 发 展 变化 ， 最 近 业 界 提出 了 “平台 + 应 用 ”的 架构 模式 ， 这 种 模 
式 将 多 个 信息 系统 公用 的 支撑 功能 转移 到 平台 上 实现 ， 这 样 可 以 基于 平台 提供 的 基础 功能 
快速 构建 新 型 应 用 。“ 平 台 + 应 用 ”模式 的 典型 代表 为 苹果 应 用 商店 (App Store)， 全 社会 
的 开发 者 只 要 遵循 评估 公司 制定 的 开发 规范 ， 在 苹果 公司 的 软件 开发 工具 包 的 支持 下 ， 就 
可 以 自行 开发 创新 型 应 用 ， 并 将 其 发 布 到 苹果 商店 之 中 ， 这 种 软件 架构 模式 大 大 激发 了 全 
社会 开发 人 员 的 积极 性 和 创造 性 ， 是 对 创新 能 力 的 进一步 释放 ， 是 软件 开发 模式 的 又 一 次 
革命 。 同 样 ,“ 平 台 + 应 用 ”的 架构 模式 也 降低 了 系统 集成 风险 ， 而 是 将 系统 之 间 集 成 的 工 
作 转 移 到 平台 层面 ， 通 过 平台 来 保障 信息 交换 的 可 靠 性 和 安全 性 ， 大 大 提供 了 应 用 推广 的 
速度 和 质量 。 
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1.8 技术: 改变 世界 的 源 动力 


构建 技术 架构 的 目标 是 保障 系统 的 可 靠 性 、 可 用 性 、 可 伸缩 性 、 高 性 能 以 及 安全 性 ， 分 层 、 组 
件 化 和 开放 是 技术 架构 设计 的 主要 方法 。 


构建 技术 架构 的 目标 是 保障 系统 的 可 靠 性 、 可 用 性 、 可 伸缩 性 、 高 性 能 以 及 安全 性 ， 
此 外 技术 架构 还 要 保障 从 业务 需求 到 技术 实现 更 好 地 衔接 起 来 。 

在 软件 出 现 的 早期 ， 通 常 采用 面向 过 程 的 分 析 与 设计 方法 ， 将 信息 系统 分 解 为 多 个 功 
能 模块 ， 系 统 结构 为 客户 端 -数据 库 服 务 器 的 两 层 架 构 模 式 ， 计 算 逻 辑 通常 在 客户 端 实现 ， 
服务 器 端 为 专门 负责 数据 存储 管理 的 数据 库 ， 典 型 的 语言 工具 包括 PowerBuilder、Delphi、 
Visual Basic 等 。 

随 着 Web 技术 的 发 展 ， 技 术 上 逐渐 采用 三 层 架 构 的 方式 ， 即 浏览 器 -应 用 服务 器 -数据 
库 服务 器 方式 (也 称 为 B/S 结构 ，B/S=Browser/Server)， 应 用 服务 器 又 可 以 分 为 两 层 : Web 
展示 层 和 业务 逻辑 处 理 层 ,为 了 支持 分 布 式 计算 等 集群 功能 ，Web 层 通常 需要 Web 应 用 服 
务 器 的 支持 ， 业 务 逻 辑 处 理 层 则 需要 EJB、COM+、CORBA 等 分 布 式 组 件 技术 的 支持 。 这 
种 架构 模式 的 优点 是 将 计算 逻辑 挪 到 了 服务 器 端 ， 减 轻 了 客户 端的 计算 负荷 ， 客 户 端 则 专 
注 于 界面 展现 工作 。 

但 是 B/S 结构 模式 也 有 着 天 然 的 不 足 , 就 是 浏览 器 客户 端 对 于 鼠标 键盘 支撑 力度 不 够 ， 
对 于 那些 需要 快速 记录 客户 信息 的 应 用 (例如 客服 中 心 受 理 系统 ) 显然 是 不 适合 的 ， 为 了 
解决 这 一 问题 , 采用 C/S 和 B/S 混合 架构 的 方式 ， 即 客户 端 内 部 集成 Web 浏览 器 控件 ， 服 
务 器 端 不 变 ，C/S 和 B/S 混合 方式 综合 利用 两 种 架构 的 优点 。 当 前 ， 如 360、UC 等 Web 
浏览 器 均 采 用 这 种 架构 方式 。 


1.8.1 云 技术 架构 模式 


自从 互联 网 企业 的 领导 者 谷歌 出 现 以 后 ， 分 布 式 计算 、 网 格 计算 、 并 行 计算 等 技术 又 
得 到 新 的 发 展 。 为 了 降低 硬件 成 本 ， 谷 歌 公司 采用 GFS、BigTable 等 软件 技术 ， 实 现 了 对 
大 量 低 端 机 器 设备 的 利用 。 大 量 低 端 配置 的 主机 进行 动态 资源 分 配 ， 提 高 了 设备 利用 率 ， 
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同时 借助 容错 机 制 ， 保 证 了 数据 的 可 靠 性 ， 这 就 是 今天 人 们 经 常 听 到 的 云 计算 架构 。 
云 计算 时 代 的 到 来 , 改变 了 传统 的 C/S 和 B/S 技术 架构 。 云 计算 架构 将 系统 分 为 SaaS、 
PaaS 和 IaaS 三 层 ， 其 典型 技术 架构 如 图 1-8-1 所 示 。 


贡 MaaS 
Esp ri i ee 


. 和 

mS 
和 

5 ms ums ss 


图 1-8-1 云 技 术 架 构 模 式 


从 图 1-8-1 可 以 看 出 ， 云 计算 架构 主要 包括 四 个 部 分 ， 软件 即 服务 SaaS)、 平 台 即 服 
务 (PaaS)、 基 础 设施 即 服务 〈IaaS )、 管 理 即 服务 (MaaS )。 

软件 即 服务 说 明 云 服务 提供 的 内 容 为 软件 应 用 ， 对 于 云 应 用 的 用 户 采 用 租 的 方式 获取 
软件 服务 ， 好 比 人 们 要 满足 住 的 需求 ， 不 一 定 非 要 买 ， 完 全 可 以 通过 租房 的 方式 实现 住房 
的 需求 。 这 种 模式 对 于 用 户 来 说 非常 灵活 ， 如 果 不 想 继续 使 用 软件 服务 则 无 须 继续 付费 ， 
对 于 软件 服务 的 提供 方 ， 也 可 以 聚集 大 量 有 需求 的 用 户 ， 提 高 软件 服务 带 来 的 收益 。 

平台 即 服务 是 一 种 为 用 户 提供 “半成品 ”的 服务 模式 ， 这 种 模式 可 以 给 客户 构建 软件 
服务 留 有 一 定 的 定制 空间 ， 在 平台 服务 的 支持 下 ， 用 户 可 以 快速 地 实现 软件 服务 。 好 比 做 
饭 ， 买 来 饺子 皮 ， 只 要 再 完成 菜 馅 儿 准 备 、 包 饺子 、 者 饺子 几 个 环节 ， 就 可 以 吃 到 饺子 了 。 
因特网 服务 提供 商 (ISP) 提供 的 主机 服务 也 是 一 个 典型 的 平台 即 服务 的 例子 ， 只 需要 将 自 
己 开 发 好 的 网 站 应 用 部 署 到 ISP 的 主机 上 即 可 ， 而 无 须 关 心 主机 设备 摆 放 、 公 网 人 P 申请 等 
事情 。 

基础 设施 即 服务 是 最 底层 的 云 服务 ， 包 括 计算 服务 、 存 储 服务 、 网 络 服务 等 ， 用 户 可 
以 根据 自身 需求 选择 基础 设施 服务 的 配置 ， 就 像 选 择 个 人 电脑 一 样 ， 不 同 的 是 用 户 无 须 获 
取 基 础 设施 的 所 有 权 ， 同 样 采用 租赁 的 方式 就 可 以 使 用 基础 设施 ， 无 须 占 用 设备 空间 ， 不 
用 考虑 电力 供应 等 问题 。 
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管理 即 服务 是 对 以 上 三 种 服务 进行 管理 而 存在 的 ， 通 常 以 上 三 种 层次 的 服务 都 是 云 服 
务 提供 商 来 负责 管理 的 ， 云 服务 使 用 方 只 关心 使 用 即 可 。 但 是 ， 在 有 些 情 况 下 云 服 务 的 用 
户 需 要 自己 掌握 云 服 务 的 运行 情况 并 进行 维护 ， 这 时 云 服务 提供 商 可 以 将 对 于 云 服务 的 管 
理 权 限 开放 给 用 户 ， 让 用 户 可 以 自行 管理 。 这 好 比 电信 运营 商 的 客户 网 管 系统 ， 企 业 客 户 
租用 电信 运营 商 专线 资源 并 能 够 查看 租用 的 专线 资源 拓扑 结构 及 其 运行 状况 ， 可 以 根据 电 
信 运 营 商 提供 的 专线 服务 效果 付费 ,这 样 透明 的 服务 提供 方式 是 企业 发 展 用 户 的 一 种 手段 。 


1.8.2 大 数据 技术 架构 模式 


生产 型 信息 系统 的 目标 是 支撑 企业 的 战略 、 建 设 、 运 营 以 及 企业 的 管理 ， 其 输入 为 来 
自 企 业 不 同 部 门 的 需求 ， 用 户 通 过 使 用 信息 系统 提供 的 应 用 来 满足 其 需求 。 

生产 型 信息 系统 的 技术 架构 通常 包括 三 层 : 接 入 /界面 /应 用 层 、 业 务 逻辑 /平台 层 、 集 
成 /数据 层 ， 当 用 户 使 用 信息 系统 的 应 用 时 ， 系 统 接收 用 户 的 输入 ， 然 后 通过 业务 逻辑 层 的 
计算 ， 产 生 或 者 读 取 信息 系统 的 数据 。 

对 于 分 析 型 信息 系统 ， 与 分 析 型 信息 系统 的 数据 路 径 整 合 相 反 ， 如 果 说 生产 型 信息 系 
统 “ 生 产 ” 数 据 ， 那 么 分 析 型 信息 系统 则 “消费 ”数据 。 分 析 型 信息 系统 技术 架构 包括 三 
层 : 集成 数据 层 、 数 据 挖掘/ 平台 层 、 接 入 /展现 层 。 集 成 /数据 层 首先 采集 和 存储 来 自生 产 
型 信息 系统 的 数据 ， 然 后 经 过 加 工 、 整 合 后 存储 到 分 析 模 型 之 中 ， 最 后 通过 图 形 、 表 格 等 
展现 方式 展现 数据 分 析 结 果 或 者 将 数据 分 析 结 果 以 数据 /功能 的 形式 再 次 注入 生产 型 信息 
系统 之 中 。 生 产 型 信息 系统 与 分 析 型 信息 系统 技术 架构 的 对 比如 图 1-8-2 所 示 。 


用 户 
ef 
业务 逻辑 /平台 = 数据 挖掘 / 平台 层 
1 
集成 /数据 层 集成 / 数据 层 


图 1-8-2 ”生产 型 与 分 析 型 信息 系统 技术 架构 对 比 


中 举 飞 诺 
涝 深 溢 芒 


从 图 1-8-2 可 以 看 出 ， 生 产 型 信息 系统 与 分 析 型 信息 的 技术 架构 是 类 似 的 ， 最 大 的 区 
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别 是 生产 型 信息 系统 生产 数据 ， 而 分 析 型 信息 系统 则 消费 生产 型 信息 系统 生产 的 数据 ， 然 
后 通过 整合 与 挖掘， 借助 分 析 模 型 和 算法 ， 发 现 事 物 之 间 的 联系 和 规律 。 生 产 型 信息 系统 
则 是 利用 分 析 结果 来 提高 企业 生产 和 经 营 能 力 的 ， 人 们 也 可 以 利用 分 析 后 发 现 的 规律 ， 增 
强 认识 世界 和 改造 世界 的 能 力 。 
为 了 更 清晰 地 看 到 大 数据 从 采集 到 利用 的 过 程 ， 下 面 对 大 数据 技术 架构 进行 设计 ， 大 
数据 技术 架构 如 图 1-8-3 所 示 。 
大 数据 接 入 与 展示 层 大 数据 管理 导 


大 数据 分 合 与 挖掘 层 执行 效率 提升 
Ee ee 


大 数据 集成 与 存储 层 


图 1-8-3 大 数据 技术 架构 模式 
从 图 1-8-3 可 以 看 出 ， 大 数据 技术 架构 包括 四 个 层面 : 大 数据 集成 与 存储 层 、 大 数据 
分 合 与 挖掘 层 、 大 数据 接 入 与 展示 层 、 大 数据 管理 层 。 
1. 大 数据 集成 与 存储 层 
大 数据 集成 与 存储 层 的 职能 是 从 各 个 数据 源 采集 数据 并 存储 到 数据 库 中 ， 可 以 根据 数 
据 的 规模 采用 不 同 的 采集 方式 和 数据 库 。 对 于 数据 规模 大 并 且 增 量 空间 不 确定 的 数据 需要 
采用 与 Hadoop 类 似 的 分 布 式 数据 库 ， 这 样 可 以 保证 随 着 数据 量 的 不 断 增 大， 数据 可 以 横 


向 扩充 。 对 于 数据 价值 高 但 是 扩展 规模 可 以 预期 的 建议 采用 传统 关系 型 数据 库 ， 这 样 可 以 
保证 能 够 从 多 个 维度 对 数据 进行 挖掘 和 统计 。 


2. 大 数据 分 合 与 挖掘 层 


大 数据 分 合 与 挖掘 层 的 职能 是 找 出 数据 之 间 的 联系 和 规律 。 世 界 是 普遍 联系 的 ， 从 自 
然 界 或 者 人 类 活动 中 采集 的 数据 反映 了 自然 界 和 人 类 的 活动 ， 可 以 借助 大 数据 相关 技术 和 
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工具 来 发 现 和 利用 规律 。 对 于 企业 来 说 ， 可 以 利用 发 现 的 规律 来 提高 生产 经 营 能 力 。 之 所 
以 称 为 “分 合 ”， 是 因为 根据 应 用 需要 ， 在 数据 模型 的 承载 下 ， 通 过 对 于 大 数据 的 “分 解 ” 
与 “合并 ” 形成 满足 不 同 应 用 需要 的 数据 ， 是 大 数据 挖掘 的 基本 方法 。 在 数据 挖掘 中 通常 
将 “分 解 ” 称 为 “ 切 ” 包括 切片 、 切 块 等 。 这 种 思想 与 财务 会 计 中 对 于 成 本 费用 的 “分 摊 ” 
和 “ 归 集 ”类 似 ,都 是 通过 对 操作 对 象 的 “微分 ”和 “积分 ”满足 不 同 维度 的 分 析 需 求 的 。 


3. 大 数据 接 入 与 展示 层 


大 数据 接 入 与 展示 层 的 职责 是 将 大 数据 分 析 的 结果 用 起 来 。 大 数据 分 析 的 目的 还 是 
“用 ”“ 用 ”的 方法 有 好 几 种 ， 一 种 是 直接 将 分 析 的 结果 自动 化 地 植 入 生产 经 营 的 过 程 中 ， 
这 是 最 理想 也 是 最 有 效率 的 方式 ， 当 然 这 种 方式 的 缺点 是 分 析 的 结果 可 能 存在 问题 ， 从 而 
做 出 错误 的 或 者 不 准确 的 生产 经 营 决策 ; 另 一 种 方式 是 为 生产 经 营 决策 提供 “智力 ”支持 ， 
人 们 可 以 参考 大 数据 分 析 结 果 ， 结 合 自身 的 经 验 和 直觉 进行 决策 ， 这 种 情况 主要 适用 于 企 
业 战 略 层面 的 决策 ， 因 为 这 些 决 策 往往 需要 企业 战略 管理 人 员 根 据 很 多 年 的 生产 经 营 经 验 
做 出 判断 ， 而 这 些 经 验 往往 是 没有 系统 化 的 数据 积累 的 。 


4. 大 数据 管理 层 


大 数据 管理 层 的 职责 是 对 数据 使 用 全 过 程 的 监控 和 管理 ， 包 括 数据 质量 管理 、 数 据 分 
析 效 率 分 析 、 数 据 分 析 应 用 效果 评价 等 。 

对 于 数据 而 言 ， 最 关键 是 要 保证 数据 是 真实 的 、 完 整 的 ， 如 果 没 有 好 的 数据 质量 作为 
保障 ， 那 么 只 会 产生 错误 的 数据 分 析 结 果 ， 形 成 错误 的 决策 ， 对 企业 生产 经 营造 成 损失 ， 
可 见 数据 质量 是 大 数据 分 析 过 程 中 最 最 重要 的 一 环 。 此外， 对 于 大 数据 来 说 ， 如 果 数 据 的 
规模 很 大 ， 那 么 如 何 保证 数据 的 执行 效率 也 是 非常 重要 的 。 

对 于 数据 分 析 的 效率 ， 不 同 的 应 用 要 求 不 同 ， 不 过 一 般 是 效率 越 高 越 好 ， 数 据 分 析 结 
果 出 来 得 越 早 越 有 助 于 人 们 快速 及 时 地 做 出 决策 ， 避 免 因 为 决策 延误 而 错失 市 场 机 会 。 

执行 效果 分 析 对 于 大 数据 来 说 也 是 非常 重要 的 ， 因 为 大 数据 分 析 的 目的 还 是 要 保证 能 
够 做 出 科学 合理 的 决策 ， 由 于 世界 的 矛盾 性 ， 十 全 十 美的 决策 是 不 存在 的 ， 但 是 经 过 各 种 
因素 的 考虑 之 后 ， 需 要 在 利弊 得 失 中 做 出 最 优 决 策 。 因 此 ， 要 对 大 数据 分 析 的 效果 进行 及 
时 评价 ， 如 果 大 数据 分 析 不 能 达到 决策 支持 的 目的 ， 应 当 尽快 寻找 支持 决策 的 新 方法 和 
途径 。 
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1.9 部 署 : 让 飞机 平稳 着 陆 


部 署 是 设计 方案 和 系统 实现 的 落地 ， 它 将 处 于 不 同 层级 的 “硬件 ”和 “软件 ”有 机 地 结合 起 来 ， 
最 终 实 现 可 供用 户 使 用 的 系统 和 服务 。 


软件 以 其 神奇 的 适应 性 为 人 类 社会 提供 了 各 种 各 样 的 信息 服务 ， 可 是 ， 这 种 “ 软 ” 的 
物件 最 终 还 是 需要 “ 硬 ” 的 物件 做 依托 才 行 ， 否 则 软件 永远 是 个 想象 中 的 东西 。 

那么 ， 软 件 如 何 才能 “落地 ” 呢 ? 这 种 实现 方式 业界 称 之 为 “部 署 ”(deploy)， 拿 一 
个 简单 的 个 人 电脑 为 例 ， 首 先 要 有 电脑 硬件 ， 包 括 主板 、CPU、 内 存 、 硬 盘 、 声 卡 、 显 卡 、 
网 卡 、 键 盘 、USB 口 、 显 示 屏 等 。 有 了 这 些 硬件 ， 还 要 有 主板 ROM 芯片 中 负责 个 人 电脑 
基本 输入 输出 控制 的 BIOS 程序 。 然 后 可 以 开始 安装 如 Windows 7 这 样 的 操作 系统 软件 ， 
接着 就 是 安装 Office 办 公 软 件 、Eclipse 等 开发 工具 软件 等 。 在 这 里 ，Windows 7 属于 系统 
软件 ，Office 属于 应 用 软件 ， 系 统 软件 部 署 在 个 人 电脑 硬件 上 ， 而 应 用 软件 则 部 署 在 操作 
系统 这 样 的 系统 软件 上 。 

当然 ， 上 面 的 例子 比较 简单 ， 只 是 想 说 明 什么 叫 部 署 ， 在 实际 的 复杂 应 用 中 ， 往 往 是 
由 网 络 连接 的 客户 端 和 服务 端 组 成 的 ， 人 们 通常 所 说 的 部 署 ， 更 多 地 是 指 硬件 的 部 署 和 位 
于 服务 端的 软件 部 署 ， 而 通常 将 客户 端 软件 部 署 称 为 “安装 ”。 

按照 部 署 的 先后 顺序 ， 首 先是 硬件 部 署 然 后 才 是 软件 部 署 。 硬 件 部 署 通常 包括 网 络 设 
备 、 主 机 设备 、 存 储 设备 等 的 部 署 ， 当 硬件 部 署 完 成 后 ， 就 可 以 在 硬件 上 安装 系统 软件 和 
应 用 软件 了 。 应 用 软件 、 系 统 软件 以 及 系统 硬件 的 部 署 层次 结构 如 图 1-9-1 所 示 。 


| 应 用 软件 层 客户 关系 管理 、 计 费 账 务 管理 、 客 服 等 
加 系统 软件 层 操作 系统 、 中 间 件 、 数 据 库 、 平 台 科 
图 系统 硬件 层 机 架 、 电 源 、 主 机 、 存 储 、 网 络 等 


图 1-9-1 系统 部 署 层次 结构 


从 图 1-9-1 可 以 看 出 , 对 于 信息 系统 来 说 , 通常 是 由 以 上 三 种 层次 组 成 的 , 需要 按照 1、 
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2、3 的 顺序 自 下 而 上 部 署 ， 这 样 才 能 形成 最 终 用 户 能 够 使 用 的 应 用 。 
1.9.1 部署 的 不 懈 追 求 : 5 个 不 变 


当前 ， 随 着 云 计算 和 大 数据 时 代 的 到 来 ， 对 于 部 署 的 架构 模式 提出 了 新 的 要 求 ， 但 是 
云 时 代 的 部 署 模式 本 质 上 与 传统 的 部 署 模式 是 一 样 的 ， 它 们 都 是 为 了 满足 系统 在 可 靠 性 
(Reliability)、 可 用 性 (Availability)、 可 伸缩 性 Scalability)、 高 性 能 (Performance)》 以 及 
安全 性 〈Security) 这 5 个 方面 的 要 求 。 


1. 可 靠 性 


可 靠 性 是 衡量 信息 系统 服务 质量 的 关键 指标 ， 一 个 不 可 靠 的 信息 系统 会 导致 服务 中 
断 ， 客 户 体验 水 平 会 大 打折 扣 ， 会 直接 破坏 企业 的 服务 形象 ， 为 企业 带 来 或 大 或 小 的 经 济 
损失 。 试 想 ， 如 果 某 电子 商务 网 站 经 常 因 为 信息 系统 的 不 可 靠 而 无 法 登录 购物 系统 ， 谁 还 
去 这 家 电子 商务 公司 购物 ? 如 果 某 家 企业 的 ERP 系统 经 常 无 法 使 用 , 那么 企业 内 部 员工 如 
何 办 公 ? 如 果 公 检 法 机 关 的 电子 政务 系统 无 法 使 用 ， 那 么 国家 公务 人 员 如 何 执法 ? 可 见 
信息 系统 的 可 靠 性 是 极其 重要 的 。 

从 信息 系统 的 部 署 角 度 看 , 首要 目标 是 要 保证 信息 系统 的 可 靠 性 。 为 了 实现 这 一 目标 ， 
需要 从 部 署 对 象 的 各 个 层次 来 保障 可 靠 性 ， 通 过 灵活 的 部 署 方案 实现 信息 系统 的 整体 可 
靠 性 。 

1) 系统 硬件 层 

系统 硬件 层 包括 电源 、 主 机 、 存 储 、 网 络 等 ， 属 于 信息 系统 的 基础 设施 部 分 。 要 保证 
系统 硬件 层 的 部 署 对 象 的 可 靠 性 ， 通 常 采用 增加 资源 的 方式 ， 通 过 硬件 设备 的 互相 备份 达 
到 服务 不 中 断 的 目的 。 

电源 设备 是 信息 系统 可 靠 性 最 核心 的 设备 , 如果 没有 可 靠 电源 的 供给 , 所 有 IT 设备 将 
是 一 堆 废 铜 烂 铁 ， 因 此 保证 可 靠 的 电源 供给 是 极其 重要 的 。 保 证 电源 可 靠 供给 的 方式 主要 
包括 两 种 : 第 一 种 是 采用 双 路 供电 ， 这 样 当 一 路 供电 出 现 故障 时 ， 另 一 路 供电 可 以 接 上 。 
另 一 种 方式 是 采用 不 间断 电源 〈UPS )， 保 证 在 全 部 电源 输入 出 现 故 障 后 ， 仍 然 有 营 电 设备 
持续 供电 ， 并 且 可 以 实现 电力 供给 的 无 颖 切换 ， 保 证 信息 系统 不 会 宕 机 。 当 然 ，UPS 供电 
方式 仅仅 是 一 种 临时 的 电源 供应 方式 ， 因 为 通常 UPS 的 蓄 电 容量 有 限 ， 电 力 供给 的 时 间 也 
有 限 。 一 般 来 说 ， 电 力 供给 出 现 故 障 后 在 一 定时 间 段 内 就 能 够 恢复 ， 这 样 当 信息 系统 有 正 
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常 的 电力 作为 供给 后 ，UPS 设备 又 变 为 一 种 备用 方式 ， 充 满 电 后 继续 备用 。 因 此 ， 通 过 在 
线 供电 和 离线 供电 的 配合 ， 可 以 实现 电力 供给 的 连续 性 ， 保 证 了 信息 系统 能 够 不 间断 地 提 
供 服务 。 
对 于 主机 来 说 ， 保 证 其 可 靠 性 的 方式 通常 是 建立 服务 器 集群 ， 通 过 集群 来 消除 因为 某 
个 或 者 某 些 主机 宕 机 引起 的 单 点 故障 。 在 一 个 服务 器 集群 中 , 多 个 主机 运行 同一 计算 逻辑 ， 
这 样 可 以 保证 计算 功能 能 够 顺利 地 切换 到 正常 运行 的 主机 上 。 在 主机 形成 的 集群 中 ， 可 以 
设置 主机 之 间 为 互相 备份 的 方式 ， 既 可 以 采用 一 对 一 的 备份 方式 ， 也 可 以 采用 一 对 多 的 备 
份 方式 。 
对 于 存储 来 说 ， 通 常 是 采用 元 余 磁 盘 来 保证 数据 的 可 靠 性 的 。 所 谓 磁盘 是 通过 磁 介 质 
来 记录 数据 0 或 者 1 的 ， 这 些 磁 介 质 因 为 受 碰撞 、 外 部 磁力 、 温 度 、 湿 度 等 外 界 环境 影响 
而 可 能 出 现 消 磁 现 象 ， 进 而 影响 数据 存储 的 可 靠 性 。 同 时 ， 无 论 对 于 企业 或 个 人 ， 数 据 又 
是 最 最 核心 的 东西 ， 因 此 如 何 保证 数据 的 可 靠 性 就 变 得 非常 重要 了 。 保 证 存储 可 靠 性 的 方 
式 主要 包括 两 种 : 第 一 ， 通 过 构建 磁盘 兄 余 阵列 来 保证 数据 的 可 靠 性 ， 这 就 是 人 们 经 常 听 
到 的 RAID (Redundant Array of Independent Disk)，RAID 分 为 RAID0、RAID1、RAID5、 
RAID 0+1 等 多 种 方式 ， 不 管 哪 种 方式 从 原理 上 都 是 用 匈 余 磁盘 空间 来 换取 可 靠 性 的 ， 也 
就 是 用 的 磁盘 空间 越 大 ， 磁 盘 内 容 备 份 就 越 方便 ， 数 据 丢 失 的 概率 就 越 低 ， 数 据 存储 的 可 
靠 性 就 越 高 。 第 二 ， 考 虑 到 数据 存储 设备 的 成 本 和 适用 范围 ， 通 常 采取 多 级 存储 (Cache、 
内 存 、 磁 盘 、 磁 带 ) 的 方式 来 设计 存储 架构 。 一 般 来 说 ， 存 储 设备 的 性 能 越 高 、 存 储 空间 
越 大 ， 存 储 设备 的 价格 也 就 越 高 。 从 应 用 的 角度 看 ， 并 不 是 所 有 应 用 都 需要 性 能 和 价格 都 
高 的 设备 的 ， 因 此 需要 根据 应 用 的 实际 需要 对 存储 介质 的 类 型 、 数 据 存储 设备 的 容量 等 进 
行规 划 设 计 。 
对 于 网 络 来 说 ， 实 现 可 靠 性 的 方式 是 双 路 由 ， 就 好 像 人 们 平时 开车 ， 可 以 走 A 路线， 
也 可 以 走 B 路 线 ， 当 A 路 线 因 为 修 路 或 者 交通 事故 等 原因 封 路 后 ， 可 以 走 B 路 线 ， 因 为 
有 两 种 路 线 或 者 多 种 路 线 选择 才 不 会 影响 人 们 出 现 。 保 证 网 络 可 靠 性 的 方式 也 是 采用 多 路 
由 ， 基 于 TCP/IP 的 互联 网 中 的 路 由 策略 就 是 不 断 寻 找 可 以 通行 的 网 络 路 径 ， 从 而 保证 数 
据 包 能 将 交付 到 目的 地 。 
2) 系统 软件 层 
构建 于 系统 硬件 层 之 上 的 系统 软件 层 的 目的 是 为 了 管理 系统 硬件 资源 并 便于 应 用 软 
件 的 实现 。 为 了 提高 应 用 软件 的 开发 、 测 试 、 部 署 效率 ， 形 成 了 诸如 操作 系统 、 中 间 件 、 
数据 库 等 系统 软件 ， 当 然 ， 也 存在 如 何 保障 系统 软件 的 可 靠 性 问题 。 
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对 于 操作 系统 这 样 的 系统 软件 ， 由 于 经 过 了 严谨 的 设计 以 及 多 年 的 修补 和 完善 ， 可 靠 
性 大 大 增强 ,例如 当前 业界 主流 的 Linux 操作 系统 , 当然 也 不 能 排除 操作 系统 仍旧 存在 Bug， 
解决 操作 系统 可 靠 性 的 办 法 就 是 通过 实时 监控 和 集群 的 方式 ， 当 发 现 问题 后 就 进行 修复 和 
完善 。 例 如 微软 的 Windows 操作 系统 不 定期 发 布 的 补丁 就 是 在 发 现 并 解决 Windows 操作 
系统 存在 的 问题 后 形成 的 。 

对 于 中 间 件 ， 分 为 交易 中 间 件 、Web 中 间 件 、 消 息 中 间 件 等 多 种 类 型 ， 中 间 件 的 出 现 
也 是 为 了 保证 信息 系统 有 更 好 的 可 靠 性 ， 试 想 如 果 没 有 中 间 件 ， 每 个 应 用 软件 都 要 从 头 开 
台 ， 一 定 会 存在 许多 Bug。 介 于 操作 系统 和 应 用 软件 之 间 的 中 间 件 专注 于 某 一 个 特定 领域 
解决 特定 的 问题 ， 形 成 了 可 复 用 的 软件 功能 和 组 件 。 由 于 中 间 件 具有 先进 的 架构 设计 、 高 
水 平 的 开发 以 及 长 期 的 应 用 实践 ， 因 此 具有 很 高 的 可 靠 性 。 另 外 ， 为 了 保障 信息 系统 整体 
的 可 靠 性 ， 系 统 软件 可 以 构建 成 一 个 集群 ， 集 群 内 部 的 某 些 中 间 件 是 其 他 中 间 件 的 运行 副 
本 ， 保 证 在 某 些 中 间 件 节点 出 现 故 障 后 信息 系统 仍旧 能 够 正常 地 提供 服务 ， 同 时 集群 方式 
也 可 以 提高 信息 系统 的 总 体 吞 吐 量 。 

数据 库 也 可 以 认为 是 提供 数据 管理 服务 的 中 间 件 ， 由 于 数据 库 中 保存 了 大 量 有 价值 的 
数据 ， 保 障 数据 库 的 可 靠 性 就 显得 更 为 重要 。 为 了 保证 数据 库 的 可 靠 性 ，Oracle 数据 库 采 
用 了 实时 应 用 集群 (Real Application Clusters，RAC) 技术 ，RAC 作为 集群 技术 的 一 种 ， 
可 以 很 好 地 实现 数据 库 的 可 靠 性 。 

3) 应 用 软件 层 

相对 于 系统 软件 ， 应 用 软件 更 多 地 体现 了 业务 的 特殊 性 ， 应 用 软件 大 多 是 个 人 和 组 织 
从 应 用 软件 开发 商 处 购买 或 者 从 软件 服务 提供 商 处 租用 得 到 的 。 

应 用 软件 的 类 型 非常 多 ， 企 业 普遍 使 用 的 应 用 软件 包括 客户 关系 管理 系统 (CRM)、 
客户 服务 系统 、 企 业 资源 计划 系统 (ERP)、 办 公 自 动 化 系统 (OA)、 供 应 链 管 理 系统 
(SCM) 等 。 

应 用 软件 的 可 靠 性 一 方面 需要 以 先进 成 熟 的 系统 软件 为 基础 ， 另 一 方面 也 可 以 通过 单 
元 测试 、 集 成 测试 、 系 统 测试 、 用 户 接受 性 测试 (UAT) 等 方式 和 手段 ， 不 断 优 化 和 完善 
软件 代码 实现 。 应 当 在 软件 代码 中 通过 异常 处 理 和 日 志 记 录 的 方式 来 定位 应 用 软件 中 出 现 
的 错误 ， 保 证 应 用 软件 的 可 靠 运行 。 


2. 可 伸缩 性 


信息 系统 不 但 要 面向 现在 ， 还 要 面向 未 来 ， 应 当 具 有 信息 系统 容量 的 可 扩充 性 ， 在 互 
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联网 时 代 ， 弹 性 的 、 可 伸 可 缩 的 系统 架构 成 为 信息 系统 部 署 设 计 阶 段 重要 的 考虑 因素 。 
对 于 单个 系统 硬件 ， 由 于 硬件 物理 特性 的 限制 ， 保 证 可 伸缩 性 的 唯一 方法 是 提前 预 留 
可 以 扩充 的 插 槽 和 端口 ， 比 如 目前 流行 的 刀片 式 服务 器 ， 就 可 以 根据 需要 增加 或 者 删 减 服 
务 器 ， 服 务 器 好 比 “刀片 ”一 样 ， 可 以 方便 地 插入 “ 刀 箱 ”之 内 。 
单个 硬件 的 扩充 能 力 毕竟 是 有 限 的 ， 为 了 解决 动态 的 资源 扩充 问题 ， 业 界 通常 采用 集 
群 架构 来 实现 系统 硬件 的 横向 扩展 ， 集 群 内 的 资源 通过 集群 管理 软件 来 进行 配置 和 管理 。 
当前 ， 虚 拟 化 、 云 化 等 技术 就 是 将 资源 使 用 和 资源 分 配 相隔 离 ， 动 态 地 进行 资源 调度 ， 使 
得 信息 系统 具有 良好 的 可 伸缩 性 。 


3. 可 用 性 


可 用 性 是 从 用 户 对 于 系统 服务 的 角度 提出 的 。 简 单 地 看 ， 可 用 性 包括 可 用 和 不 可 用 两 
种 类 型 ， 不 可 用 就 是 不 可 以 使 用 ,当然 是 用 户 不 能 接受 的 。 为 了 衡量 信息 系统 服务 的 质量 ， 
系统 服务 提供 方 和 使 用 方 之 间 可 以 通过 可 用 性 指标 作为 支付 的 评判 标准 。 

信息 系统 可 用 性 的 实现 是 一 个 系统 性 工程 ， 因 为 对 于 应 用 的 使 用 者 是 不 关心 系统 硬件 
出 现 问 题 还 是 系统 软件 出 现 问题 的 ， 用 户 所 要 求 的 就 是 软件 总 是 可 以 使 用 的 。 

从 部 署 的 角度 看 ， 保 证 可 用 性 的 方式 是 进行 充分 的 集成 测试 和 系统 整体 性 测试 ， 发 现 
并 解决 影响 系统 可 用 性 的 因素 。 


4. 性 能 


与 可 用 性 类 似 ， 性 能 也 是 用 户 能 够 直接 衡量 的 一 个 方面 ， 当 然 ， 不 同 的 应 用 对 于 性 能 
的 可 接受 程度 是 不 一 样 的 。 对 于 性 能 的 具体 要 求 ， 通 常 是 要 求 性 能 在 一 个 可 接受 的 时 间 范 
围 之 内 ， 比 如 1 天 或 者 5 秒 之 内 。 

要 实现 系统 的 高 性 能 ， 同 样 需 要 信息 系统 各 个 方面 的 努力 。CPU 的 频率 、 磁 盘存 取 速 
度 、IO 处 理 能 力 等 都 是 影响 系统 性 能 的 重要 因素 。 对 于 需要 应 多 大 规模 并 发 用 户 的 信息 系 
统 ， 同 样 需要 集群 部 署 的 方式 来 提高 系统 的 整体 性 能 。 

系统 性 能 与 集群 规模 、 数 据 存储 方式 、 程 序 算 法 等 都 有 关系 ， 在 大 数据 时 代 ， 海 量 数 
据 处 理 与 快速 展现 分 析 结果 之 间 的 矛盾 更 加 突出 ， 使 得 解决 系统 的 性 能 问题 变 得 更 加 具有 
挑战 性 。 
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5. 安全 性 


安全 性 也 是 部 署 时 考虑 的 重要 因素 ， 安 全 性 与 可 靠 性 是 不 同 的 ， 安 全 性 主要 是 防止 未 
经 授权 的 用 户 对 于 系统 资源 的 访问 。 

提高 系统 的 安全 性 需要 从 技术 手段 和 规章 制度 两 个 方面 做 起 ， 本 文 主要 从 技术 角度 来 
分 析 如 何 部 署 才 能 保障 系统 具有 高 安全 性 。 

首先 ， 安 全 问题 产生 的 根源 通常 是 在 信息 系统 访问 客户 端 ， 正 所 谓 “ 病 从 口 入 ”， 因 
此 如 何 控制 客户 端 引起 的 安全 是 需要 首先 考虑 的 问题 。 对 于 可 控 可 管 的 客户 端 ， 应 当 在 客 
户 端 部 署 代理 软件 ， 保 证 客户 端 是 在 预先 设 定 的 安全 策略 控制 下 使 用 的 。 此 外 ， 应 当 从 网 
络 层面 进行 控制 ， 对 于 接 入 网 络 的 客户 端 进行 安全 认证 ， 将 不 符合 安全 要 求 的 用 户 阻挡 在 
网 络 边缘 。 
其 次 ， 对 于 传输 和 存储 的 数据 进行 加 密 ， 保 证 传送 和 存储 的 数据 不 被 第 三 方 窃取 。 

最 后 ， 部 署 4A (账户 、 认 证、 授权 、 审 计 ) 服务 器 ， 在 信息 系统 的 应 用 层面 进行 安全 
控制 ， 及 时 发 现 并 处 置 违规 的 用 户 。 


1.9.2 部署 的 好 伙伴 : 配置 管理 


随 着 系统 硬件 、 系 统 软件 以 及 应 用 软件 的 不 断 部 署 实 施 , 数据 中 心 的 规模 会 越 来 越 大 ， 
为 了 保证 系统 的 高 可 靠 性 ， 数 据 中 心 甚至 采用 跨 地 域 的 方式 来 实现 ， 当 系统 出 现 故障 后 ， 
如 果 不 能 实时 掌握 软 硬 件 部 署 的 结构 和 运行 状况 ， 就 难以 快速 地 完成 故障 恢复 。 为 了 解决 
这 一 问题 ， 人 迫切 需要 对 系统 软 硬 件 资源 的 配置 关系 进行 管理 。 

配置 项 是 配置 管理 的 基本 单元 ， 配 置 项 根据 管理 的 需要 可 大 可 小 ， 可 以 是 一 台 机 器 设 
备 ， 也 可 以 是 机 器 设备 中 的 一 个 部 件 。 配 置 项 记录 了 自身 的 属性 以 及 与 其 他 配置 项 的 关联 
关系 ， 比 如 配置 项 为 机 架 的 属性 通常 包括 机 架 的 位 置 、 可 用 空间 、 已 用 空间 、 安 装 时 间 、 
责任 人 等 ， 配 置 项 为 服务 器 的 属性 ， 通 常 包括 服务 器 所 在 机 架 、 电 源 消耗 、 厂 家 型 号 、 硬 
件 配置 、 安 装 时 间 、 资 产 原 值 、 折 旧 年 限 、 运 行 状态 、 装 载 的 软件 、 连 接 的 网 络 端口 等 。 

为 了 保证 配置 项 数据 的 准确 性 ， 要 求 在 系统 部 署 完成 后 及 时 更 新 配置 项 属性 。 配 置 项 
信息 的 录入 分 为 两 种 : 一 种 是 类 似 于 机 房 、 机 架 等 无 须 运行 的 设备 ， 需 要 完全 依靠 人 工 录 
入 的 方式 完成 ; 另 一 种 是 类 似 于 服务 器 、 存 储 设备 、 网 络 设备 等 可 以 运行 的 设备 ， 可 以 在 
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安装 完成 后 通过 手工 的 方式 进行 数据 的 初次 录入 ， 然 后 再 借助 运行 后 的 设备 管理 软件 进行 
配置 上 报 , 对 比 两 次 采集 的 配置 项 属性 , 校正 存在 问题 的 配置 项 , 提高 配置 数据 的 准确 性 。 

对 于 大 中 型 的 数据 中 心 ， 配 置 项 之 间 的 关系 是 非常 复杂 的 ， 因 此 要 求 支持 图 形 化 方式 
的 配置 管理 ， 直 观 地 展示 配置 项 属性 及 其 运行 状况 ， 帮 助 运行 维护 人 员 快 速 发 现 并 修复 存 
在 的 故障 ， 帮助 数据 中 心 规划 人 员 实 时 掌握 IT 资源 使 用 情况 ,以便 及 时 的 补充 资源 , 保证 
系统 在 正常 的 负荷 范围 内 运行 。 


1.9.3 ”事务 型 应 用 系统 部 署 架 构 


下 面 是 某 企业 使 用 笔记 本 电脑 、 台 式 机 、 手 机 等 接 入 设备 ， 通 过 因特网 访问 企业 数据 
中 心 的 部 署 架 构 设 计 方案 ， 如 图 1-9-2 所 示 。 
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从 图 1-9-2 可 以 看 出 ， 企 业 CRM 系统 分 为 客户 端 和 数据 中 心 两 部 分 。 

CRM 系统 客户 端 分 为 笔记 本 电脑 、 台 式 机 、 智 能 手机 三 种 接 入 方式 ， 其 中 智能 手机 的 
部 署 方案 为 在 Android V4.3 操作 系统 上 部 署 CRM 手机 客户 端 软件 V1.0。 

CRM 系统 数据 中 心 分 为 4 个 区 ， 即 网 络 集群 区 、FTP 服务 器 集群 区 、Web 服务 器 集 
群 区 、 应 用 服务 器 集群 区 、 数 据 库 服务 器 集群 区 。 网 络 集群 区 包括 网 络 路 由 器 、 网 络 防火 
墙 和 网 络 交换 机 ，FTP 服务 器 集群 区 包括 多 个 FTP 服务 器 ， 起 到 接收 上 传 文件 和 导入 数据 
的 作用 ，Web 服务 器 集群 区 部 署 Web 静态 网 页 并 起 到 Web 服务 负载 均衡 的 作用 ， 应 用 服 
务 器 集群 区 提供 CRM 应 用 逻辑 的 处 理 ， 数 据 库 服务 器 集群 区 负责 存 取 数据 和 管理 数据 。 

系统 部 署 结构 中 体现 了 从 硬件 支撑 到 软件 部 署 的 层次 依赖 关系 ， 最 下 层 为 硬件 设备 及 
其 安装 的 位 置 ， 上 层 分 别 为 操作 系统 、 中 间 件 、 应 用 软件 ， 这 样 就 可 以 清晰 地 看 到 软件 与 
硬件 的 依赖 关系 ， 有 助 于 项 目 后 期 完成 系统 的 维护 工作 。 

由 于 篇 幅 限制 ， 图 1-9-2 中 没有 绘制 数据 中 心 的 容 灾 部 分 ， 可 以 认为 各 种 集群 区 都 具 
有 机 房 内 部 、 同 城 以 及 异地 容 灾 的 能 力 。 


1.9.4 ”分析 型 应 用 系统 部 署 架 构 


以 上 是 面向 操作 的 事务 型 应 用 在 某 企 业 数 据 中 心 的 部 署 架 构 方案 。 与 支持 企业 事务 型 
应 用 的 部 署 方 案 不 同 ， 支 持 企业 分 析 型 应 用 的 部 署 方案 有 着 自身 的 特点 。 某 电信 运营 商 移 
动 上 网 记录 大 数据 应 用 的 系统 部 署 方案 如 图 1-9-3 所 示 。 

从 图 1-9-3 可 以 看 出 ， 分 析 型 应 用 系统 架构 设计 需要 考虑 数据 采集 、 数 据 上 传 、 数 据 
装载 、 数 据 交 换 、 数 据 查 询 等 环节 。 在 大 数据 应 用 系统 部 署 的 不 同 阶段 ， 主 要 完成 的 任务 
包括 : 

。 数据 采集 阶段 。 首先 ， 移动 用 户 通过 手机 借助 电信 运营 商 的 通信 网 络 和 互联 网 访问 

OTT 应 用 ， 比 如 腾讯 QQ、 新 浪 微 博 、 淘 宝 网 等 。 其 次 ， 在 移动 用 户 访问 OTT 应 

用 的 时 候 , 通信 网 络 中 的 GGSN、SGSN 等 网 关 设 备 会 记录 下 移动 用 户 的 上 网 行为 

包括 上 网 时 间 、 上 网 时 长 、 上 网 流量 、 应 用 URL 等 。 最 后 ， 采 集 设 备 将 抓 取 到 的 
数据 包 存 入 上 网 记录 文件 后 ， 上 传 到 FTP 服务 器 。 

。 数据 装载 阶段 。 首 先 ，FTP 服务 器 通过 vsftpd 服务 器 接收 上 传 的 文件 并 将 其 放 入 指 
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定 的 目录 。 然后 , 通过 ETL 软件 将 数据 装载 到 Hadoop/HBase 分 布 式 数据 库 集群 中 。 
Hadoop/HBase 分 布 式 数 据 库 集群 加 载 数据 的 方法 为 : 客户 端 根 据 主 服务 器 (Master 
Server) 的 NameNode 找到 装载 文件 需要 存放 的 区 域 服务 器 (Region Server)， 通 过 
区 域 服务 器 将 数据 存放 到 DataNode。 其 存储 原理 类 似 于 Linux 的 虚拟 文件 存储 ， 即 
将 所 有 设备 看 作 一 个 文件 ， 而 NameNode 则 是 管理 文件 的 索引 。 
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图 1-9-3 ” 某 电信 运营 商 大 数据 中 心 系统 部 署 总 体 架构 


。 数据 查询 阶段 。 分 布 式 数据 库 的 查询 方法 不 同 于 关系 型 数据 库 ， 可 以 借助 开源 工具 


Pig、Hive 使 得 分 布 式 数据 库 的 查询 变 得 更 加 简单 。 


。 数据 交换 阶段 。 如 果 存储 在 分 布 式 数 据 库 集群 中 的 数据 需要 用 于 进一步 的 统计 分 


析 , 那么 需要 通过 数据 交换 工具 Sqoop 将 其 存 入 关系 型 数据 库 Oracle 集群 中 , 由 于 
关系 型 数据 库 对 于 数据 的 存 取 性 能 受 限于 数据 的 规模 , 因此 可 以 将 初步 汇总 后 的 数 
据 存 入 关系 型 数据 库 。 
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1.10 安全: 都 是 开放 车 的 祸 


坚持 开放 就 必然 会 带 来 安全 问题 ， 可 以 沿 着 系统 架构 的 “ 云 + 管 + 端 "思路 来 分 析 引 起 安全 问题 的 
根源 并 提供 整体 安全 解决 方案 。 


互联 网 因为 其 开放 特性 使 得 全 球 信息 可 以 自由 流动 ， 全 球 资源 可 以 动态 调配 ， 从 此 世 
界 变 得 “平坦 ”了 。 可 是 ， 互 联网 也 为 这 种 “开放 ”付出 了 代价 。 

本 节 首 先 分 析 开 放 带 来 的 问题 ， 然 后 再 基于 云 管 端 模式 分 析 安 全 管理 的 应 对 策略 与 
方法 。 


1.10.1 开放 的 价值 与 代价 


从 历史 上 看 ， 开 放 促进 了 人 类 社会 的 发 展 进步 。 贸 易 的 开放 促进 了 商品 经 济 的 发 展 ， 
文化 的 开放 增进 了 不 同 民族 的 相互 理解 ， 而 技术 的 开放 则 以 信息 为 载体 ， 以 网 络 为 支持 ， 
实现 了 全 球 资源 的 重新 配置 。 从 这 个 角度 看 ， 由 于 技术 的 开放 引起 的 信息 流动 导致 了 全 
球 资源 的 归 集 与 配置 ， 信 息 犹 如 货币 ， 哪 里 需要 就 流向 哪里 ， 从 而 实现 了 资源 的 动态 
配置 。 


1.10.2 云 管 端 模式 下 的 安全 管理 


在 云 计 算 时 代 ， 将 信息 系统 的 承载 结构 划分 为 “ 云 + 管 + 端 ”三 个 部 分 ， 因 此 对 应 的 
安全 管理 也 可 以 从 这 三 个 部 分 进行 分 析 。 基 于 “ 云 + 管 + 端 ” 的 安全 管理 框架 如 图 1-10-1 
所 示 。 

从 图 1-10-1 可 以 看 出 , 云 + 管 + 端 实际 上 是 从 IT 服务 供给 到 IT 服务 需求 的 一 种 消费 模 
式 ， 云 、 管 、 端 的 每 一 个 部 分 又 可 以 分 为 应 用 软件 、 系 统 软件 和 系统 硬件 三 个 支撑 层次 ， 
两 种 结构 交叉 形成 的 矩阵 块 就 是 安全 管理 的 对 象 ， 针 对 不 同安 全 管理 对 象 的 安全 策略 与 方 
法 如 下 : 
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办 [ 
端 (终端 ) 管 ( 网 络 ) ™ 云 (应 用 系统 ) 
台式 机 /手机 /机 项 盒 等 | 互联 网 /企业 内 网 等 CRM/ERP/SCM 等 


网 络 管理 软件 4A 管 理 


。 网 络 管理 软件 


图 1-10-1 信息 系统 安全 管理 框架 


1.“ 云 ” 侧 安全 策略 与 方法 


“ 云 ” 侧 是 IT 服务 的 提供 方 ， 例 如 CRM、ERP、SCM 等 提供 软件 服务 的 信息 系统 ， 
分 为 系统 硬件 、 rosso 

1) 系统 硬件 安全 

对 于 像 服 务 器 、 本 安全 性 管理 与 可 靠 性 管理 是 同样 一 件 事情 ， 对 
于 安全 来 说 ， 通 常 是 指 软件 引起 的 安全 问题 。 可 以 采用 双击 互 备 、 容 灾 等 方式 来 保障 硬件 
级 的 安全 可 靠 性 。 

2) 系统 软件 安全 管理 

系统 软件 用 于 实现 特定 功能 的 安全 管理 ， 例 如 主机 防火 墙 、 病 毒 查 杀 、 漏 洞 检测 等 ， 
系统 软件 通常 由 第 三 方 企 业 提 供 ， 企 业 需 要 购买 通过 权威 部 门 安全 认证 的 系统 软件 ， 未 经 
安全 检验 的 系统 软件 可 能 会 成 为 注入 的 木马 程序 。 

3) 应 用 软件 安全 管理 

在 应 用 软件 层级 ， 主 要 是 解决 因为 用 户 行为 而 导致 的 安全 问题 。 例 如 ， 未 经 授权 的 用 
户 使 用 了 系统 的 功能 、 窃 取 了 系统 内 部 的 数据 ， 企 业内 部 的 系统 用 户 访问 了 不 应 当 访 问 的 
数据 ， 从 而 使 企业 带 来 经 营 风险 甚至 经 济 损失 。 

以 上 安全 风险 的 防范 可 以 通过 事前 认证 和 事后 审计 相 结合 的 方式 解决 ， 对 于 未 经 授权 
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的 用 户 一 定 要 阻止 在 系统 之 外 ， 同 时 对 于 授权 但 是 违规 操作 的 用 户 可 以 通过 事后 审计 的 方 
式 找 出 来 。 


2.“ 管 ” 侧 安全 策略 与 方法 


“ 管 ”位 于 IT 服务 提供 方 和 IT 服务 消费 方 的 中 间 位 置 ， 是 联通 两 者 的 通道 。 通 信 网 、 
互联 网 等 各 种 网 络 属于 管道 ， 网 络 内 部 的 通信 方式 包括 光 通 信 、 微 波 通信 、 短 波 通信 、 超 
短波 通信 、 卫 星 通信 等 ， 按 照 传 播 介质 分 为 有 线 通信 和 无 线 通信 两 种 类 型 。 

负责 通信 的 设备 包括 传输 设备 、 交 换 机 、 路 由 器 、 集 线 器 、 网 关 设备 等 , 为 了 保障 “ 管 ” 
的 安全 ， 通 常 在 网 络 的 出 入 口 处 设置 网 络 防火 墙 、 入 侵 检测 设备 ， 以 便 将 来 自 网 络 的 安全 
问题 阻挡 在 网 络 防火 墙 之 外 。 


全 “ 端 ” 侧 


“ 端 ”位 于 IT 服务 消费 方 ， 例 如 桌面 电脑 、 平 板 电 脑 、 手 机 等 接 入 终端 。 由 于 终端 是 
引起 网 络 安全 的 起 点 ， 因 此 对 于 企业 内 部 的 可 控 终 端 设 备 可 以 采用 安全 管理 系统 的 方式 来 
设置 对 外 访问 权限 ， 对 于 终端 自身 的 安全 ， 可 以 采用 杀毒 软件 来 实时 监控 终端 系统 。 企 业 
可 以 考虑 采用 桌面 云 的 瘦 终 端 方式 简化 终端 设备 ， 在 云端 集中 管理 ， 对 于 客户 服务 这 样 仅 
仅 具 有 受理 功能 的 信息 系统 可 以 优先 考虑 采用 桌面 云 技 术 实 现 。 


1.11 治理 : 没有 规矩 不 成 方圆 


治理 是 对 业务 、 应 用 与 技术 的 管理 ， 通 过 组 织 、 人 员 、 流 程 来 保障 ， 由 于 操作 型 应 用 与 分 析 型 
应 用 的 特点 不 同 ， 治 理 重点 也 不 一 样 。 


没有 规矩 不 成 方 贺 ， 同 样 的 道理 ， 再 好 的 企业 架构 模式 如 何 没有 好 的 治理 方法 和 手段 
也 会 沦 为 空谈 。 

到 此 为 止 ， 按 照 构造 房子 的 方法 已 经 完成 了 这 座 神奇 的 小 房子 的 构建 ， 那 么 房子 是 不 
是 符合 要 求 ， 是 不 是 能 够 入 住 以 及 入 住 后 出 现 问 题 怎样 解决 等 还 需要 通过 有 效 的 治理 来 
完成 。 


从 治理 的 目的 来 看 ， 无 非 是 将 这 种 企业 架构 的 各 个 部 分 良好 地 衔接 起 来 ， 当 房子 的 某 
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个 部 分 出 现 问题 也 能 够 及 时 修复 问题 。 单 纯 从 IT 治理 的 角度 看 ，IT 治理 的 目标 就 是 保证 

企业 信息 系统 平稳 可 靠 地 运行 并 能 够 满足 性 能 、 安 全 、 扩 展 等 要 求 。 从 IT 治理 的 范围 看 ， 

包括 对 生产 型 应 用 的 治理 和 分 析 型 应 用 的 治理 ， 包 括 业务 应 用 、 平 台 以 及 基础 设施 三 个 层 
面 的 治理 ， 此 外 ， 安 全 管理 也 是 IT 治理 的 重要 内 容 。 

生产 型 应 用 治理 的 重点 是 保障 信息 系统 高 效 、 可 靠 、 安 全 地 满足 企业 生产 经 营 需 要 ， 
通常 是 采用 良好 的 治理 流程 作为 保障 ， 比 如 服务 台 负 责 收集 信息 系统 在 支持 企业 生产 运营 
过 程 中 产生 的 问题 ， 再 对 问题 进行 分 析 判 断 并 转发 到 后 台 由 不 同 的 人 员 或 者 系统 来 处 理 。 
后 台 又 可 以 按照 专业 分 工 ， 分 为 应 用 、 平 台 、 基 础 设施 等 不 同系 统 维护 角色 ， 通 过 这 种 前 
后 台 流程 的 协同 ， 及 时 发 现 和 处 理 信息 系统 运行 中 产生 的 问题 。 

分 析 型 应 用 治理 的 重点 是 数据 质量 管理 、 元 数据 管理 、 数 据 生 命 周期 管理 以 及 隐私 保 
护 。 分 析 型 应 用 就 是 本 书 所 说 的 大 数据 应 用 。 

对 于 大 数据 应 用 ， 数 据 就 像 大 楼 的 地 基 ， 数 据 质量 是 大 数据 应 用 对 于 企业 决策 支持 的 
关键 ， 因 此 大 数据 治理 最 重要 的 是 要 保证 数据 的 质量 ， 包 括 数据 的 准确 性 和 完整 性 。 引 起 
数据 质量 问题 的 原因 很 多 ， 数 据 处 理 的 各 个 环节 都 可 能 引起 数据 质量 问题 ， 数 据 处 理 的 环 
节 包 括 采 集 、 传 输 、 导 入 、 集 成 、 清 洗 等 。 

用 户 在 使 用 生产 型 应 用 时 ， 无 需 关 注 信息 系统 内 部 数据 的 定义 ， 只 需 关 注 使 用 的 功能 
是 否 满足 要 求 即 可 。 大 数据 应 用 则 不 同 ， 数 据 是 大 数据 应 用 形成 的 起 点 ， 因 此 首先 要 掌握 
数据 的 定义 ， 才 能 够 谈 如 何 利用 数据 ， 对 于 数据 的 定义 就 是 元 数据 。 元 数据 是 定义 数据 的 
数据 ， 它 说 明了 数据 的 类 型 、 长 度 、 处 理 过 程 、 过 程 方法 等 ， 有 了 元 数据 ， 就 好 像 有 了 一 
本 关于 数据 定义 的 字典 ， 无 论 数据 存放 在 什么 地 方 ， 只 要 有 元 数据 ， 就 可 以 理解 和 使 用 数 
据 ， 开 发 各 种 各 样 的 分 析 型 应 用 。 

元 数据 治理 的 方法 是 将 数据 内 容 和 元 数据 同时 保存 ， 保 证 元 数据 和 数据 内 容 是 对 应 
的 ， 就 好 比 字 典 的 目录 中 标题 的 页 码 与 页 码 对 应 的 内 容 一 致 一 样 。 

与 企业 的 产品 、 客 户 、 资 源 一 样 ， 数 据 同样 具有 从 形成 到 消亡 的 生命 周期 ， 在 数据 生 
命 周期 的 不 同 阶段 ， 需 要 采用 不 同 的 数据 管理 方法 。 

数据 仓库 之 父 比 尔 * 恩 门 在 著作 DW2.0 中 将 数据 存储 分 为 4 个 区 : 交互 存储 区 、 集 成 
存储 区 、 近 线 存储 区 、 归 档 存储 区 。 交 互 存储 区 存储 新 数据 ， 对 于 数据 操作 的 响应 时 间 通 
常 在 几 秒 之 内 ， 集成 存储 区 的 数据 来 自 于 交互 存储 区 ， 存 储 1 天 或 者 1 个 月 的 数据 ， 这 部 
分 数据 主要 满足 企业 在 线 分 析 型 应 用 需求 :， 近 线 存储 区 主要 存储 3~4 年 的 数据 ， 主 要 是 满 
足 企业 更 长 期 的 数据 分 析 应 用 ; 归档 存储 区 存储 5 年 以 上 的 数据 ， 这 部 分 数据 通常 是 为 了 
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满足 政策 法 规 的 要 求 而 存储 的 ， 通 常会 很 少 访问 归档 存储 区 的 数据 。 

隐私 保护 是 大 数据 治理 的 重点 和 难点 ， 隐 私 保护 主要 是 因为 数据 中 具有 侵犯 个 人 或 者 
组 织 隐私 的 信息 ， 这 与 数据 开放 的 要 求 通常 相悖 ， 企 业 可 以 采用 提供 匿名 数据 、 统 计数 据 
等 方式 规避 数据 开放 带 来 的 隐私 问题 。 


1.12 本章 主要 内 容 回顾 


企业 架构 是 企业 高 效 运营 的 基础 ， 企 业 架 构 应 当 能 够 很 好 地 支持 企业 发 展 战略 落地 实 
施 ， 敏 捷 地 适应 企业 内 部 和 外 部 环境 变化 。 

企业 架构 就 像 一 座 设计 严谨 的 房子 ， 具 有 各 司 其 职 并 且 相 互 连 接 的 构件 ， 可 以 很 好 地 
适应 外 部 环境 变化 ， 可 以 实现 从 业务 到 技术 的 有 效 衔接 。 

按照 自 上 而 下 、 动 静 分 离 、 业 务 与 技术 分 离 的 设计 方法 架构 企业 ， 将 企业 划分 为 10 
个 既 相 互 独立 ， 又 相互 联系 的 部 分 。 

在 业务 层面 ， 按 照 动静 分 离 的 方法 ， 分 为 业务 过 程 架构 和 信息 架构 。 业 务 过程 架 构 属 
于 业务 中 “ 动 ”的 部 分 ， 而 信息 架构 则 属于 业务 中 “ 静 ” 的 部 分 ， 业 务 执行 过 程 中 产生 信 
息 ， 信 息 是 业务 过 程 的 载体 。 

在 系统 层面 ， 按 照 动静 分 离 的 方法 ， 分 为 功能 架构 和 数据 架构 。 功 能 架构 属于 系统 中 
“ 动 ”的 部 分 ， 而 数据 架构 则 属于 系统 中 “ 静 ” 的 部 分 ， 系 统 功能 执行 过 程 中 产生 数据 ， 数 
据 是 系统 功能 的 载体 。 

应 用 架构 是 业务 与 技术 之 间 的 桥梁 和 纽带 。 从 业务 角度 看 ， 应 用 体现 了 业务 对 于 系统 
的 能 力 要 求 ， 从 技术 的 角度 看 ， 应 用 体现 了 系统 需要 具备 的 能 力 。 

如 果 说 应 用 架构 是 业务 与 技术 之 桥 ， 那 么 集成 架构 则 是 业务 与 技术 之 间 的 “ 粘 合剂 ”。 
集成 架构 将 业务 过 程 架构 、 信 息 架构 、 功 能 架构 、 数 据 架构 集成 到 一 起 ， 使 得 业务 与 技术 
既 可 以 按照 动静 分 离 原则 分 别 设计 ， 又 可 以 通过 集成 架构 重新 成 为 一 个 整体 ， 体 现 了 企业 
架构 的 灵活 性 。 

技术 架构 可 以 让 想法 变 为 现实 。 复 用 性 和 灵活 性 是 技术 架构 追求 的 主要 目标 ， 以 保证 
系统 能 够 快速 地 适应 外 部 变化 。 软 件 内 部 分 层 可 以 实现 软件 功能 的 专业 化 分 工 ， 通 常 系统 
可 以 划分 为 界面 层 、 业 务 逻 辑 层 和 数据 层 ; 组 件 化 是 提高 复 用 性 的 重要 手段 ， 尽 量 将 软件 
单元 封装 成 特定 功能 集 的 组 件 ， 在 移动 互联 网 时 代 ， 技 术 架 构 特别 要 遵循 开放 性 原则 ， 通 
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筑 巢 : 来 自 建筑 行业 的 启示 
过 引入 更 多 的 开发 者 力量 ， 提 升 软件 的 集成 能 力 ， 促 进 软件 应 用 的 创新 。 
如 果 说 技术 架构 侧重 于 对 软件 系统 的 结构 设计 ， 那 么 部 署 架构 则 是 侧重 于 软件 与 硬件 
的 结合 。“ 一 个 篇 爷 三 个 桩 ， 一 个 好 汉 三 个 帮 ” 在 云 时 代 ， 更 加 需要 集群 作战 ， 因 此 部 署 
架构 主要 关注 集群 中 各 个 节点 如 何 配合 ， 以 实现 系统 的 可 靠 性 、 可 伸缩 性 、 可 用 性 、 高 性 
能 以 及 安全 性 。 
安全 是 矛盾 的 另外 一 个 方面 ， 就 好 像 有 正义 就 有 那 恶 一 样 。 系 统 安全 问题 通常 是 由 于 
系统 开放 引起 的 。 与 系统 架构 相对 应 ， 系 统 在 “ 云 人 “ 管 ^“ 端 ”都 会 存在 安全 问题 ， 因 
此 安全 架构 的 设计 目标 就 是 要 保证 “ 云 - 管 - 端 ”的 安全 。 在 “ 云 ” 端 ， 主 要 是 解决 信息 安 
全 问题 ， 在 “ 管 ” 端 ， 主 要 是 解决 网 络 安全 问题 ， 在 终端 人 出， 主要 是 解决 接 入 安全 问题 。 
治理 架构 强调 系统 性 地 看 待 问题 和 解决 问题 。 当 新 增 需 求 、 需 求 变更 、 服 务 中 断 或 者 
不 可 用 时 ， 企 业 应 当 通 过 科学 高 效 的 管理 制度 和 流程 予以 解决 。 治 理 架 构 要 求 系统 具备 良 
好 的 自我 诊断 和 修复 能 力 ， 提 高 机 器 的 智能 化 水 平 ， 实 现 人 与 机 器 之 间 的 有 机 配合 。 企 业 
需要 综合 职能 、 过 程 、 全 生命 周期 三 种 思维 方式 分 析 和 设计 治理 架构 。 
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当 在 企业 架构 方法 论 的 指导 下 ， 自 顶 向 下 、 从 前 到 后 完成 了 系统 化 的 架构 设计 以 后 ， 
就 应 当 为 其 注入 能 量 ， 让 其 焕发 青春 了 。 
那么 ， 如 何 才 能 实现 这 一 目标 呢 ? 结论 就 是 借助 大 数据 。 虽 然 以 企业 战略 为 指导 完成 
了 企业 的 架构 设计 ， 但 它 还 仅仅 是 一 个 空 架 子 ， 长 得 很 丰满 但 是 力量 不 足 ， 成 熟 稳重 但 活 
力 不 够 。 因 此 ， 需 要 借助 大 数据 ， 从 根本 上 为 其 提供 能 力 支持 ， 这 样 企业 才能 够 变 得 生机 
副 然 ， 焕 发 出 无 穷 的 青春 活力 。 
那么 ， 如 何 才 能 让 大 数据 与 企业 架构 实现 完美 “结合 ” 呢 ? 为 了 实现 这 样 和 谐 的 “ 联 
姻 ” 还 需要 从 企业 架构 和 大 数据 两 个 方面 分 别 做 起 。 
对 于 企业 架构 ， 通 过 “分 ”与 “ 合 ”， 使 得 企业 能 够 更 好 地 完成 战略 目标 。 对 于 大 数 
据 ， 其 特点 和 优势 就 是 能 够 聚合 全 社会 的 “能 量 ” 然后 再 通过 抽取 、 转 换 、 合 并 ， 最 终 形 
成 满足 企业 需求 的 能 力 。 
因此 ， 企 业 架 构 与 大 数据 的 最 佳 结 合 点 就 是 “能 力 ”。 企 业 架 构 从 不 同 视角 分 解 为 不 
同 的 “能 力 ” 而 大 数据 则 通过 对 数据 的 聚合 形成 了 多 种 支持 企业 架构 的 “能 力 ” 只 有 将 
企业 架构 的 “能 力 ” 需 求 与 大 数据 的 “能 力 ” 供 给 对 接 起 来 , 才能 实现 两 者 的 完美 “联姻 ”。 
本 章 内 容 思维 导 图 如 下 所 示 : 
以 业务 过 程 模块 为 起 点 ， 以 大 数据 能 力 为 支点 ， 发 挥 想象 力 ， 寻 找 大 数据 服务 
基于 业务 过 程 框架 的 | 在 战略 层面 ,大 数据 服务 主要 起 到 参考 作用 ， 更 多 地 依靠 管理 者 的 经 验 和 智慧 
大 数据 应 用 畅想 在 战术 层面 ， 大 数据 服务 主要 起 到 规律 发 现 作 用 ， 辅 助 中 层 管理 人 员 制 定 适用 策略 
在 执行 层面 ， 大 数据 服务 主要 面向 大 规模 交易 的 应 用 ， 强 调 决策 支持 的 效率 


行业 通用 使 用 案例 包括 企业 战略 、 市 场 营销 、 产 品 管理 、 销 售 、 客 户 服务 等 方面 
NJ 服务 型 企业 大 数据 服务 | | 行业 特殊 性 使 用 案例 主要 体现 在 企业 核心 资源 以 及 基于 资源 的 服务 两 个 层面 


使 用 案例 探讨 大 数据 服务 以 满足 市 场 和 客户 需求 为 出 发 点 ， 以 客户 特征 和 行为 规律 为 切入 点 
大 数据 服务 的 价值 需 以 增加 收入 、 降 低 成 本 、 提 高 效率 、 提 升 客户 体验 为 衡量 标准 


大 数据 服务 数据 源 | 。 以 数据 量 大 、 时 效 性 强 、 类 型 多 样 等 为 特征 的 数据 源 是 大 数据 服务 价值 创造 的 前 提 和 基础 
及 其 关键 实现 活动 | 人 数据 采集 、 存 依 、 抽 取 、 丰 富 、 转 换 、 挖 气 、 展 现 等 环节 是 保障 大 数据 服务 实现 的 关键 
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2.1 大 数据 与 决策 : 选择 远 比 努力 更 重要 


分 析 后 形成 的 决策 决定 了 企业 发 展 的 方向 与 道路 ， 影 响 深远 ， 正 确 的 决策 会 让 企业 靠近 成 功 ， 
而 错误 的 决策 必然 会 导致 失败 。 


在 人 们 的 日 常生 活 中 ， 无 论 是 个 人 还 是 家 庭 都 会 面 对 大 大 小 小 的 决策 : 选择 什么 品牌 
的 衣服 ， 去 哪 家 饭馆 吃饭 ， 乘 坐 什 么 交通 工具 ， 住 哪 家 旅馆 ， 等 等 ， 不 一 而 足 。 

对 于 企业 ， 每 天 同样 需要 面 对 各 种 各 样 的 决策 : 客户 的 真正 需求 是 什么 ， 企 业 需 要 提 
供 什么 样 的 产品 和 服务 ? 客户 的 服务 等 级 多 高 ， 不 同等 级 的 客户 可 以 享受 到 什么 样 的 服 
务 ? 销售 人 员 的 个 人 贡献 多 大 ， 应 当 得 到 多 少 奖 金 ? 如 何 制 定 企业 发 展 战 略 ? 等 等 。 

对 于 提供 公共 服务 的 政府 、 事 业 单位 、 非 营利 组 织 ， 同 样 需要 做 出 各 种 决策 ， 无 论 是 
基础 设施 建设 还 是 外 交 、 金融 等 决策 : 例如 , 如 何 规划 设计 地 铁路 线 ? 如 何 确定 地 铁 票 价 ? 
如 何 设 定 水 、 电 、 暧 气 的 价格 ? 未 来 五 年 国家 在 技术 方面 的 主攻 方向 是 什么 ? 如何 有 效 预 
防 和 控制 艾滋 病 ? 等 等 。 

对 于 企业 特别 是 大 中 型 企业 来 讲 ， 企 业 关 注 的 重点 包括 : 如 何 提高 管理 水 平 ， 降 低 企 
业内 耗 ， 提 高 总 体 运营 能 力 ; 在 经 济 全 球 化 、 一 体 化 的 大 背景 下 ， 企 业 如 何 快速 响应 外 间 
市 场 的 变化 ? 

“ 适 者 生存 、 优 胜 劣 汰 ” 在 这 样 一 个 充满 竞争 的 年 代 ， 企 业 只 有 顺势 而 为 ， 采 用 先进 
的 、 科 学 的 方法 、 技 术 与 工具 ， 才 能 在 残酷 的 外 部 竞争 中 得 以 生存 和 发 展 ， 对 于 拥有 国家 
垄断 资源 的 大 型 国有 企业 ， 更 应 当 积极 变革 , 完成 好 国家 交付 的 历史 重任 ,降低 服务 价格 ， 
为 老百姓 带 来 更 多 的 实惠 。 

当前 ， 具 有 4V 特征 的 大 数据 ， 可 以 通过 分 析 历史 预测 未 来 ， 帮 助 组 织 发 现 商业 与 社 
会 中 存在 的 规律 ， 进 而 指导 组 织 进行 决策 ， 比 如 著名 的 奥巴马 竞选 案例 、 啤 酒 和 尿布 的 故 
事 ， 等 等 。 

不 同类 型 的 组 织 均 可 以 利用 大 数据 服务 。 政 府 部 门 可 以 利用 它 分 析 社 会 与 论 作为 改革 
的 参考 依据 ， 分 析 城 镇 化 、 老 龄 化 等 经 济 社会 发 展 趋势 ， 以 完成 政策 的 制定 和 合理 的 资源 
配置 。 企 业 则 可 以 利用 大 数据 实现 对 市 场 的 调研 ， 客 户 特征 和 行为 分 析 ， 开 发 适合 市 场 需 
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要 的 产品 ， 实 现 精准 化 营销 等 。 个 人 则 可 以 利用 大 数据 进行 职业 规划 、 确 定 出 行 计划 、 投 
资 理 财 决策 等 。 可 见 ， 大 数据 可 以 应 用 于 生产 生活 的 许多 方面 。 

在 大 数据 概念 出 现 之 前 ， 人 们 已 经 在 决策 支持 领域 进行 了 长 期 的 研究 ， 形 成 了 许多 研 
究 成 果 ， 包 括 数据 仓库 、 数 据 挖掘 、 商 业 智 能 、 在 线 分 析 等 ， 在 开始 本 节 之 前 首先 看 一 下 
大 数据 服务 与 数据 挖掘 等 以 往 的 概念 的 区 别 和 联系 。 

同 大 数据 服务 一 样 ， 数 据 挖 据 、 商 业 智 能 等 同样 用 于 对 组 织 决策 的 支持 ， 数 据 挖掘 领 
域 的 经 典 案例 就 是 啤酒 和 尿布 的 故事 ， 通 过 基于 客户 购买 习惯 的 分 析 ， 发 现 客户 在 买 尿布 
的 同时 也 会 购买 啤酒 ， 这 一 规律 的 发 现 可 以 帮助 卖家 确定 如 何 摆 放 商品 ， 即 商家 可 以 根据 
这 一 发 现 将 啤酒 和 尿布 摆 放 在 一 起 ， 这 样 顾 客 就 可 以 更 加 方便 地 拿 到 商品 ， 既 提高 了 客户 
满意 度 ， 也 提高 了 商品 的 销售 能 力 。 

当然 ， 在 “数据 挖掘 ”时 代 ， 社 会 的 数据 规模 还 没有 那么 大 ， 数 据 存储 通常 还 是 关系 
型 数据 库 ， 被 处 理 的 数据 也 多 数 是 结构 化 数据 ， 在 大 数据 时 代 ， 数 据 的 规模 大 大 提高 ， 采 
用 传统 的 方法 和 技术 已 经 难以 实现 ， 这 是 大 数据 不 同 于 “数据 挖掘 ”时 代 的 一 个 特征 。 此 
外 “数据 挖掘 ”时代 更 多 地 强调 如 何 将 数据 分 析 的 结果 提供 给 决策 者 使 用 , 在 大 数据 时 代 ， 
大 数据 服务 的 作用 除了 供 决策 者 参考 之 外 ， 更 加 强 了 决策 的 自动 化 ， 通 过 决策 自动 化 提高 
组 织 效率 并 降低 成 本 。 


2.2 ” 张 开 想象 的 姐 膀 : 大 数据 服务 畅想 


技术 是 手段 ， 业 务 发 展 才 是 最 终 目标 ， 企 业 首先 需要 从 战略 、 建 设 、 产 品 、 客 户 、 供 应 商 、 人 
才 物 等 业务 视角 畅想 可 能 需要 的 大 数据 服务 。 


“只 有 想不到 的 ， 没 有 做 不 到 的 ” 历史 证 明 ， 只 要 是 人 类 能 够 想象 到 的 ， 述 早 会 变 为 
现实 。 比 如 古代 由 于 科学 技术 并 不 发 达 , 人 们 只 能 在 头脑 中 想象 “嫦娥 奔 月 ”, 在 几 千 年 后 ， 
人 类 掌握 了 飞船 技术 ， 终 于 将 千年 前 的 梦想 变 为 现实 。 

本 节 从 企业 的 业务 活动 出 发 ， 从 战略 、 建 设 、 产 品 、 客 户 、 供 应 商 、 人 财物 等 多 个 方 
面 对 大 数据 服务 进行 了 畅想 ， 以 免 限 制 大 数据 服务 的 想象 力 。 
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2.2.1 大 数据 与 战略 管理 


企业 发 展 战略 的 目标 是 实现 “知己 知 彼 ， 百 战 不 歼 ”。 “知己 ”是 要 了 解 企业 自己 的 特 
点 ， 有 什么 优 和 劣势 ， 企 业 自身 拥有 多 少 人 、 财 、 物 等 资源 。“ 知 彼 ” 则 是 要 了 解 企业 的 竞争 
对 手 情 况 以 及 企业 所 处 的 外 部 环境 ， 包 括 地 域 政治 环境 、 经 济 发 展 水 平 、 社 会 文化 生活 状 
况 、 行 业 环 境 、 区 域 环境 、 技 术 发 展 趋势 等 。 

相对 于 “知人 彼 ”“ 知 己 ” 要 容易 得 多 ， 就 像 人 们 谈论 自己 容易 一 些 一 样 。 因 此 ， 下 面 
首先 谈 一 谈 企 业 如 何 借助 大 数据 实现 “知己 ”。 

对 于 已 经 实施 信息 化 的 企业 ， 借 助 传感器 和 信息 系统 实现 了 对 企业 生产 经 营 活动 的 支 
持 ， 同 时 也 记录 了 企业 的 各 种 业务 活动 。 比 如 企业 的 客户 关系 管理 系统 中 记录 了 客户 、 产 
品 、 营 销 、 销 售 、 订 单 、 维 系 、 挽 留 、 服 务 等 信息 ， 呼 叫 中 心平 台中 记录 了 客户 咨询 、 投 
诉 、 申 告 、 建 议 、 通 话 录 音 等 信息 ， 计 费 账 务 系统 中 记录 了 客户 账单 、 详 单 、 充 值 、 缴 费 
等 信息 。 业 务 部 门人 员 产 生 的 数据 如 图 2-2-1 所 示 。 

除了 业务 信息 的 记录 ， 企 业 通 常 还 会 通过 人 力 资源 管理 系统 、 财 务 管 理 系 统 、 资 产 管 
理 系统 等 记录 人 力 资源 、 财 务 、 资 产 等 信息 。 例 如 ， 人 力 资源 管理 系统 记录 了 员工 姓名 、 
年 龄 、 教 育 经 历 、 工 作 经 历 、 培 训 经 历 、 入 职 时 间 、 技 能 特长 、 所 在 岗位 、 工 资 、 津 贴 等 
信息 ;财务 管理 系统 记录 了 历史 投资 、 融 资 、 资 产 负 债 、 损 益 、 现 金 流 、 预 算 、 成 本 等 信 
息 ， 资 产 管 理 系统 则 记录 了 资产 名 称 、 资 产 原 值 、 折 旧 年 限 、 折 旧 方 法 、 资 产 现 值 、 归 属 
部 门 、 责 任 人 等 信息 。 职 能 部 门人 员 产 生 的 数据 如 图 2-2-2 所 示 。 


咨询 、 投 诉 、 申 告 、 查 询 、 
办 理 、 缴费 充值 的 业务 量 
等 


图 2-2-1 业务 部 门人 员 产 生 的 数据 


大 数据 运营 
服务 型 企业 架构 新 思维 


供应 商 / 合 作 伙 伴 库 


供应 商 信息 、 合 作 伙伴 信 
息 、 采 购 记录 、 合 同 、 供 
i S 结 


图 2-2-2 职能 部 门人 员 产 生 的 数据 


由 于 以 上 信息 和 数据 属于 企业 所 有 ， 因 此 比较 容易 获取 。 可 见 ， 对 于 企业 战略 管理 人 
员 来 说 ， 应 当 优先 考虑 对 其 进行 收集 和 分 析 ， 以 实现 “知已 ”。 

与 “知己 ” 相 比 ， 实 现 “ 知 彼 ” 的 难度 相对 大 一 些 。 首 先 ， 由 于 企业 之 间 竞 争 的 原因 ， 
企业 的 竞争 对 手 会 设法 保护 自身 的 信息 和 数据 ， 以 免 在 竞争 中 失去 优势 ， 比 如 苹果 公司 就 
是 在 新 产品 发 布 之 前 ， 对 外 界 屏 项 新 产品 相关 信息 ， 以 免 竞 争 对 手 对 创意 进行 模仿 ， 妨 碍 
产品 的 营销 推广 ， 其 次 ， 企 业 的 外 部 发 展 环境 信息 往往 受到 多 种 因素 的 干扰 ， 比 如 信息 化 
水 平 、 数 据 开 放水 平等 。 一 般 来 说 ， 社 会 的 数据 开放 水 平 越 高 ， 企 业 对 于 宏观 发 展 环境 的 
掌握 越 准确 ， 越 能 够 制定 正确 的 发 展 战略 。 

企业 实现 “知己 ”主要 是 通过 采集 企业 自身 的 信息 系统 获得 的 ， 而 要 实现 “ 知 彼 ” 则 
需要 借助 一 定 的 方法 和 手段 ， 从 多 样 的 渠道 获取 。 比 如 ， 行 业 发 展 动态 可 以 来 自 于 专业 部 
门 的 网 站 ， 比 如 ， 电 信用 户 规模 、 增 量 、 增 速 等 数据 可 以 从 工信部 网 站 获取 ; 人 口 结构 、 
收入 水 平 、 消 费 能 力 、 法 律 法 规 等 数据 可 以 从 国家 统计 局 网 站 获取 。 社 会 习俗 、 文 化 传统 
等 则 可 以 从 图 书馆 管理 系统 中 检索 获取 。 此 外 ， 报 纸 杂 志 、 咨 询 公 司 研究 报告 、 知 名 网 站 
也 是 情报 获取 的 重要 数据 源 。 

数据 获取 的 方法 和 手段 也 是 多 种 多 样 的 ， 有 效 的 、 真 实 的 数据 获取 往往 需要 采用 非常 
规 手 段 。 据 悉 ， 某 大 型 跨国 外 企 甚至 从 竞争 对 手 的 垃圾 桶 中 获取 情报 ， 这 与 战争 时 期 利用 
特务 机 构 获 取 情 报 的 道理 是 类 似 的 。 

总 之 ， 企 业 获 取 的 情报 越 准确 、 越 及 时 ， 越 能 够 帮助 战略 制定 者 制定 正确 的 决策 。 由 
于 企业 发 展 战略 决定 了 企业 发 展 的 方向 和 道路 ， 决 定 了 企业 的 未 来 ， 因 而 其 重要 性 不 言 而 
喻 ， 在 互联 网 时 代 ， 大 数据 对 于 企业 战略 管理 将 变 得 越 来 越 重要 。 


| 64 


第 2 章 
联姻 : 当 企业 架构 爱 上 大 数据 


2.2.2 大 数据 与 建设 管理 


基础 设施 是 支撑 企业 运营 的 物质 基础 ， 是 企业 战略 落地 的 第 一 支撑 点 ， 也 是 企业 产品 
设计 的 前 提 条 件 。 

企业 需要 按照 全 生命 周期 的 管理 方法 来 管理 基础 设施 ， 包 括 基 础 设施 的 规划 、 设 计 、 
采购 、 库 存 、 验 收 、 上 架 、 运 行 、 下 架 、 退 出 的 全 过 程 。 基 础 设施 生命 周期 管理 过 程 如 图 
2-2-3 所 示 。 


退出 一 一 规划 、 


下 架 


[ 
障 
\ 
运行 
(EB ON 


图 2-2-3 ”基础 设施 生命 周期 管理 


故 | 


大 数据 对 于 企业 基础 设施 全 生命 周期 的 各 个 阶段 都 具有 重要 的 作用 。 在 基础 设施 的 规 
划 设 计 阶段 ， 可 以 借助 大 数据 来 计算 基础 设施 建设 的 位 置 、 规 模 、 容 量 等 ， 在 基础 设施 采 
购 阶段 ， 可 以 利用 企业 内 部 、 采 购 网 站 等 不 同 渠 道 对 该 产品 或 类 似 产 品 的 评价 等 大 数据 判 
断 基 础 设施 的 性 价 比 ， 为 采购 决策 提供 参考 ; 在 基础 设施 的 运行 阶段 ， 可 以 借助 采集 到 的 
运行 数据 《平均 故障 时 间 、 负 荷 指数 、 性 能 等 ) 作为 基础 设施 扩容 或 退出 的 参考 依据 。 

以 电信 运营 商 为 例 , 在 网 络 的 规划 设计 阶段 ,可 以 基于 用 户 位 置 、 移 动 宽带 业务 使 用 、 
用 户 价值 高 低 、 用 户 业 务 访问 网 络 路 径 等 大 数据 作为 某 个 地 域 的 网 络 投资 建设 或 者 扩容 的 
依据 ; 在 网 络 设备 的 采购 阶段 ， 可 以 收集 同类 网 络 设备 的 历史 运行 数据 和 来 自 于 互联 网 渠 
道 的 用 户 评价 等 来 判断 是 否 采购 该 网 络 设备 以 及 采购 价格 区 间 等 ;在 网 络 设备 的 运行 阶段 ， 
可 以 通过 采集 网 络 设备 的 历史 运行 数据 并 进行 分 析 ， 来 决定 该 网 络 设备 是 否 需 要 扩容 或 者 
报废 。 

大 数据 在 通信 网 络 设施 全 生命 周期 的 作用 如 图 2-2-4 所 示 。 


大 数据 运营 
服务 型 企业 架构 新 思维 


网 络 规划 设计 阶段 


。 用 户 业务 使 用 情况 。 设备 历史 运行 状况 ”。 设备 历史 运行 状况 
， 内 部 和 外 部 评价 


| 
i 碎 扩 -从 Y 该 设备 的 性 价 怎样， 该 设备 是 五 
次 证 亲生 生生 的 风 ， 是 吃 人 


图 2-2-4 大 数据 在 通信 网 络 全 生命 周期 的 作用 


从 上 图 可 以 看 出 ， 大 数据 在 通信 网 络 全 生命 周期 中 的 各 个 阶段 都 能 够 发 挥 作用 。 之 所 
以 能 够 做 到 这 一 点 ， 是 因为 通过 对 不 同 来 源 的 大 数据 进行 汇聚 、 整 合 与 分 析 ， 形 成 了 作为 
基础 设施 建设 的 客观 依据 。 

比如 ， 在 网 络 建设 阶段 ， 企 业 可 以 借助 用 户 的 业务 使 用 、 用 户 的 价值 等 大 数据 ， 分 析 
并 得 出 是 否 需要 新 建 或 者 扩容 网 络 以 及 新 建 或 者 扩容 规模 的 预测 。 

同样 的 道理 ， 在 网 络 设备 采购 阶段 也 可 以 借助 同类 设备 的 用 户 评价 、 不 同 供应 商 的 价 
格 对 比 等 ， 分 析 并 得 出 该 设备 是 否 存在 质量 问题 ， 是 否 适用 于 该 工程 项 目 ， 该 设备 在 什么 
价格 区 间 才 能 够 保证 较 高 的 采购 性 价 比 等 。 

在 网 络 的 运行 阶段 ， 可 以 借助 设备 历史 运行 状况 、 设 备 折旧 信息 等 来 判断 该 设备 是 否 
还 能 够 满足 当前 应 用 的 需要 , 如 果 不 满足 则 应 当 扩容 多 少 , 该 设备 是 否 已 经 到 了 报废 年 限 ， 
是 否 应 当下 电 等 。 

总 之 ， 通 过 汇聚 并 整合 来 自 不 同 数据 源 〈 使 用 、 评 价 、 运 行 、 折 旧 等 ) 的 数据 形成 的 
大 数据 服务 ， 可 以 有 效 地 支持 企业 对 基础 设施 全 生命 周期 的 管理 。 

核心 资源 通常 是 界定 行业 界限 的 关键 ， 比 如 通信 行业 的 核心 资源 是 通信 网 资源 ， 金 融 
行业 的 核心 资源 是 货币 资源 ， 互 联网 行业 的 核心 资源 是 信息 资源 。 对 于 服务 型 企业 ， 资 源 
则 主要 体现 在 对 质量 的 保证 (QA) 方面 。 

通信 网 络 资源 是 电信 运营 商 最 核心 的 资源 。 从 专业 划分 的 角度 看 ， 通 信和 网络 资源 分 为 
传输 、 交 换 、 管 道 杆 路 、 无 线 接 入 、 固 网 接 入 、 平 台 、IT、 局 房 、 电 源 、 电 气 等 多 个 专业 ; 
从 网 络 的 拓扑 结构 看 ， 通 信和 网 络 资源 分 为 核心 网 和 接 入 网 ， 接 入 网 又 分 为 有 线 接 入 网 和 无 
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线 接 入 网 ; 从 网 络 的 层次 结构 看 , 通信 网 络 资源 又 分 为 本 地 网 、 省 干 网 (二 干 )、 骨干 网 (一 
干 ) 以 及 跨越 国界 的 国际 网 。 

从 通信 网 络 资源 的 生命 周期 角度 看 ， 包 括 规划 设计 、 工 程 建设 、 运 行 维护 、 下 架 退 出 
四 大 阶段 。 那 么 ， 大 数据 价值 就 是 支持 通信 网 络 资源 全 生命 周期 的 管理 。 如 图 2-2-5 所 示 。 


| 网 络 规划 网 络 工程 | | 网 络 运行 | 网络 下 架 | 
EE ra 


图 2-2-5 大 数据 对 网 络 资源 管理 全 生命 周期 的 支持 


在 规划 设计 阶段 ， 可 以 利用 来 自 通信 网 络 基础 数据 、 运 行 数据 以 及 用 户 使 用 数据 ， 为 
通信 网 络 的 规划 设计 提供 数据 基础 。 以 4G 网 络 规划 为 例 ， 首 先是 收集 所 有 基站 的 基础 数 
据 ， 然 后 再 根据 移动 用 户 上 网 记录 来 生成 基站 的 流量 数据 ， 最 后 根据 基站 流量 数据 来 判断 
基站 扩容 的 可 行 性 以 及 扩充 的 容量 大 小 ， 为 基站 建设 和 扩容 提供 参考 依据 。 

在 工程 建设 阶段 ， 可 以 借助 大 数据 辅助 完成 通信 网 络 产品 采购 与 验收 。 对 于 通信 网 络 
资源 的 采购 决策 ， 最 有 说 服 力 的 莫 过 于 对 设备 运行 效果 的 评价 。 通 信 网 络 设备 采购 的 主要 
考虑 因素 包括 可 靠 性 、 可 扩展 性 、 可 用 性 、 性 能 、 安 全 性 、 价 格 等 。 对 于 可 靠 性 ， 可 以 通 
过 待 购 设备 类 似 产品 的 运行 结果 和 测试 报告 来 验证 ， 其 他 方面 则 可 以 通过 测试 后 获取 的 数 
据 来 验证 。 可 以 对 来 自 多 个 供应 商 的 设备 配置 、 价 格 等 进行 综合 分 析 ， 计 算出 设备 的 性 价 
比 。 同 时 ， 还 要 将 企业 注册 资金 、 资 质 认 证 、 行 业 应 用 案例 等 因素 综合 起 来 考虑 。 

在 网 络 运行 维护 阶段 ， 可 以 借助 大 数据 进行 问题 根源 分 析 ， 形 成 知识 库 。 网 络 管理 系 
统 可 以 对 网 络 设备 的 运行 状况 进行 监控 ， 根 据 设备 的 运行 效果 来 评价 设备 的 质量 指标 。 


2.2.3 ”大 数据 与 产品 管理 


产品 之 于 企业 ， 对 外 满足 客户 需求 ， 对 内 则 体现 为 资源 占用 ， 是 连接 企业 内 部 和 外 部 
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的 桥梁 和 纽带 。 一 方面 ， 企 业 通过 为 客户 提供 产品 而 获得 收入 ， 另 一 方面 ， 产 品 的 供给 则 
体现 为 企业 内 部 资源 的 消耗 。 外 部 用 户 产品 使 用 和 企业 内 部 资源 消耗 之 间 的 关系 如 图 2-2-6 
所 示 。 


消耗 资源 


图 2-2-6 ”外 部 用 户 产品 使 用 和 企业 内 部 资源 消耗 之 间 的 关系 


为 了 方便 分 析 ， 将 产品 的 功能 分 为 收入 产生 和 成 本 消耗 两 个 方面 。 

企业 收入 产生 的 过 程 ， 其 实 就 是 产品 销售 的 过 程 。 通 过 产品 的 销售 ， 企 业 可 以 掌握 产 
品 的 特点 ， 包 括 购买 人 群 特 征 、 销 售 规模 、 销 售 额度 、 不 同时 段 的 销售 情况 等 ， 企 业 可 以 
将 这 些 数据 作为 判断 产品 价值 高 低 的 依据 ， 如 果 分 析 发 现 该 产品 为 市 场 活跃 型 产品 ， 则 可 
以 继续 推广 。 

企业 产品 成 本 消耗 的 过 程 ， 其 实 就 是 资源 消耗 过 程 。 企 业 的 产品 需要 在 消耗 各 种 资源 
后 形成 ， 消 耗 的 资源 包括 人 工 、 机 器 设备 、 材 料 等 。 相 对 于 收入 产生 而 言 ， 成 本 的 消耗 则 
要 复杂 得 多 。 

如 果 对 企业 的 产品 带 来 的 收入 与 其 消耗 的 成 本 做 个 减法 ， 就 算出 了 企业 的 利润 。 如 果 
为 正 就 说 明 该 产品 能 够 使 企业 一 利 ， 为 负 则 说 明 企业 亏损 。 当 然 ， 这 只 是 产品 评估 的 一 种 
基本 方法 ， 企 业 有 时 会 根据 企业 整体 发 展 战略 来 调整 产品 市 场 战 略 ， 比 如 对 有 些 产 品 采用 
免费 或 者 低 价 策略 ， 以 便 迅 速 占领 市 场 。 

与 基础 设施 生命 周期 一 样 ， 产 品 也 要 经 历 定义 、 开 发 、 导 入 到 成 长 、 成 熟 、 误 退 的 过 
程 。 大 数据 可 以 应 用 于 企业 产品 生命 周期 的 不 同 阶段 ， 帮 助 企业 进行 产品 的 定义 、 开 发 、 
导入 以 及 性 能 优化 。 产 品 生 命 周期 及 其 分 析 方法 如 图 2-2-7 所 示 。 

内 部 成 本 效益 分 析 包 括 产品 销售 数据 获取 、 产 品 成 本 数据 获取 、 产 品 成 本 效益 分 析 ， 
分 析 结 果 可 以 作为 产品 定义 或 者 退出 的 参考 依据 。 
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外 部 环境 分 析 包 括 客户 对 产品 的 评价 数据 获取 、 产 品 相关 新 技术 信息 获取 以 及 竞争 对 

手 的 同类 产品 信息 获取 。 分 析 结 果 可 以 用 于 产品 的 性 能 优化 、 产 品 的 定义 、 产 品 退出 的 参 

考 依据 。 

以 通信 产品 为 例 ， 通 过 对 来 自 社交 网 站 评论 数据 的 分 析 发 现 ， 许 多 人 抱怨 给 家 里 的 老 

人 或 者 孩子 的 手机 经 常 性 地 分 开 充值 比较 麻烦 ， 希 望 能 够 只 给 一 个 号 码 充值 ， 其 他 号 码 就 

可 以 共享 这 个 号 码 的 余额 、 时 长 、 流 量 等 。 企 业 通 过 对 来 自 社交 网 站 数据 的 进一步 分 析 发 

现 ， 这 些 客户 通常 是 工作 比较 忙碌 的 中 年 人 ， 同 时 他 们 通常 也 是 高 价值 客户 。 为 此 ， 电 信 

运营 商定 义 和 开 发 了 一 种 可 以 实现 多 个 号 码 捆绑 并 且 号 码 可 以 直接 共享 余额 、 通 话 时 长 、 

流量 等 的 新 型 产品 ， 从 而 节省 了 该 类 用 户 的 充值 缴费 时 间 ， 减 少 了 充值 的 次 数 ， 为 该 类 用 
户 带 来 了 更 大 的 便利 。 


产品 定义 策略 


产品 导入 策略 
产品 性 能 优化 


图 2-2-7 产品 生命 周期 及 其 分 析 方 法 


品 定义 和 开发 的 需求 也 可 能 来 自 于 企业 的 竞争 对 手 。 某 电信 运营 商 通 过 对 来 自 社交 

媒体 的 数据 分 析 发 现 ， 许 多 客户 对 竞争 对 手 的 定制 化 产品 评价 很 高 ， 原 因 是 竞争 对 手 的 产 
品 可 以 实现 业务 的 定制 化 销售 ， 客 户 可 以 自行 选择 语音 、 上 网 、 短 信 业 务 的 月 使 用 量 ， 同 
时 竞争 对 手 还 会 根据 客户 的 历史 消费 情况 为 客户 推荐 一 款 最 适合 客户 的 套餐 。 这 种 方式 提 
高 了 客户 选择 产品 的 灵活 性 ， 降 低 了 因为 客户 选择 不 合适 的 套餐 而 产生 的 不 必要 支出 ， 为 
客户 节约 了 通信 费用 ， 同 时 也 提升 了 竞争 对 手 在 客户 心目 中 的 品牌 形象 。 于 是 ， 某 电信 运 
营 商 也 借鉴 竞争 对 手 的 产品 管理 经 验 , 快速 地 推出 了 可 定制 的 、 具有 套餐 推荐 功能 的 产品 。 
再 以 金融 行业 的 金融 租赁 产品 为 例 ， 金 融 产品 的 特征 主要 体现 在 风险 控制 上 ， 而 风险 
系数 的 高 低 主要 取决 于 对 于 承租 方 和 租赁 物 的 了 解 。 通 常 来 说 ， 高 风险 预示 着 高 回报 ， 因 
此 金融 租赁 公司 的 业务 发 展 主要 取决 于 对 风险 的 控制 能 力 。 由 于 高 科技 产品 更 新 换代 快 ， 


69 | 


大 数据 运营 
服务 型 企业 架构 新 思维 
也 就 意味 着 因为 技术 的 发 展 变化 而 带 来 的 较 大 的 投资 风险 。 这 时 ， 人 金融 租赁 公司 可 以 借助 
大 数据 ， 收 集 关 于 行业 、 产 品 以 及 与 该 产品 有 关 技 术 的 发 展 情况 ， 科 学 地 评估 租赁 物 的 风 
险 。 以 目前 提供 云 服务 的 数据 中 心 业务 为 例 ， 随 着 数据 中 心 业务 的 快速 发 展 ， 数 据 中 心 的 
可 靠 性 和 稳定 性 也 变 得 越 来 越 重要 ， 保 障 可 靠 性 和 稳定 性 的 关键 产品 就 是 UPS， 人 金融 租赁 
公司 可 以 与 UPS 厂商 合作 ， 推 出 相应 的 厂商 租赁 产品 。 
再 来 看 一 看 大 数据 对 于 互联 网 行业 的 影响 。 近 年 来 ， 以 开放 、 合 作为 特征 的 互联 网 飞 
速 发 展 ， 由 于 互联 网 产品 进入 市 场 的 门槛 低 ， 在 激烈 的 市 场 竞争 下 ， 许 多 产品 被 淘汰 ， 产 
品 生命 周期 很 得 ， 因 此 互联 网 产品 更 加 讲究 以 客户 为 中 心 进行 设计 。 以 阿里 巴巴 集团 的 支 
付 宝 为 例 ， 通 过 市 场 调研 发 现 ， 随 着 电子 商务 的 发 展 ， 网 民 经 常 购买 小 额 商品 ， 而 银行 卡 
支付 存在 支付 不 方便 、 安 全 性 差 等 问题 ， 余 额 宝 可 以 同时 关联 多 张 银 行 卡 ， 用 户 可 以 预先 
从 银行 卡 中 转 入 小 数目 的 资金 ， 这 样 用 户 就 不 用 担心 支付 安全 问题 ， 同 时 用 户 只 需 输 入 支 
付 密码 即 可 完成 支付 ， 大 大 提高 了 支付 的 便捷 性 ， 满 足 了 人 们 高 频率 的 网 上 购物 需求 。 
可 见 ， 大 数据 之 所 以 能 够 为 产品 生命 周期 过 程 提供 帮助 ， 主 要 是 企业 利用 大 数据 可 以 
发 现 市 场 规律 和 客户 需求 ， 并 根据 市 场 需求 提供 满足 客户 需求 的 产品 。 大 数据 为 企业 准确 
地 了 解 市 场 需求 创造 了 条 件 。 


el 


2.2.4 大 数据 与 客户 关系 管理 


在 卖方 市 场 中 ， 由 于 产品 稀缺 ， 因 此 企业 是 上 沉 ， 客 户 为 了 买 到 商品 ， 往 往 需 要 通过 
找 关 系 甚至 请 客 送礼 才 行 ， 这 是 我 国 实行 计划 经 济 年 代 的 现象 。 自 从 我 国 全 面 发 展 市 场 经 
济 以 后 ， 社 会 商品 大 大 增多 ， 市 场 变 成 了 买方 市 场 ， 客 户 可 以 根据 自己 的 喜好 在 多 家 企业 
的 商品 中 进行 选择 ， 企 业 为 了 销售 自己 的 产品 ， 反 而 需要 与 客户 搞 好 关系 ， 否 则 就 难以 获 
得 利润 ， 甚 至 破产 倒闭 。 可 见 ， 在 买方 市 场 的 情况 下 ， 客 户 关 系 对 于 企业 是 多 么 重要 。 

从 企业 角度 看 ， 客 户 关系 通常 要 经 过 建立 /恢复 、 维 持 、 挽 留 、 终 止 四 个 阶段 。 企 业 视 
角 的 客户 生命 周期 如 图 2-2-8 所 示 。 

在 客户 关系 建立 阶段 ， 企 业 通过 广告 宣传 等 手段 来 吸引 客户 购买 企业 的 产品 ， 如 果 为 
企业 曾经 流失 的 客户 ， 则 根据 企业 与 该 客户 以 往 的 接触 记录 采取 更 有 针对 性 的 营销 行动 。 
在 客户 关系 维持 阶段 ， 企 业 通 过 积分 送礼 品 、 寄 送 生 日 礼物 等 方式 回馈 客户 ， 增 进 客户 对 
企业 的 感情 。 在 客户 关系 挽留 阶段 ， 企 业 通 过 分 析 客 户 离开 的 原因 有 针对 性 地 采取 补救 措 
施 ， 比 如 给 予 新 的 产品 折扣 、 推 荐 新 产品 、 延 长 服务 期 限 等 。 
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图 2-2-8 企业 视角 的 客户 生命 周期 


在 客户 对 企业 的 产品 和 服务 进行 咨询 、 购 买 、 使 用 、 付 费 、 申 告 、 投 诉 、 建 议 的 过 程 
中 ， 企 业 借 助 信息 系统 记录 了 客户 的 信息 ， 包 括 客户 的 属性 信息 和 客户 的 行为 信息 。 以 通 
信 产 品 为 例 ， 客 户 属性 和 客户 行为 如 图 2-2-9 所 示 。 


SS 


-个 


全 


图 2-2-9 通信 企业 客户 特征 与 行为 画像 


企业 为 了 建立 与 客户 的 关系 ， 需 要 两 类 数据 源 作为 支持 。 第 一 类 数据 是 来 自 社会 大 环 
境 的 数据 ， 包 括 人 口 、 经 济 、 政 治 、 法 律 、 文 化 等 方面 ， 获 取 这 些 数据 的 目的 是 帮助 企业 
找到 目标 市 场 和 目标 客户 群 。 比 如 根据 某 地 域 人 口 的 年 龄 结构 分 析 ， 发 现 该 地 区 老年 人 的 
人 口 比重 越 来 越 高 ， 因 此 企业 可 以 向 该 地 区 推出 适合 老年 人 的 产品 和 服务 。 第 二 类 数据 来 
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自 曾经 使 用 过 企业 的 产品 或 服务 ， 但 是 当前 已 经 流失 的 客户 ， 企 业 可 以 非常 容易 地 获取 这 
类 客户 的 信息 , 企业 应 当 尽力 基于 客户 以 往 的 行为 来 发 现 客户 的 偏好 , 重建 与 客户 的 关系 。 

以 金融 行业 的 银行 为 例 ， 在 客户 关系 建立 阶段 其 主要 业务 活动 是 对 客户 进行 信用 评 
估 ， 以 便 确 定 客户 的 风险 敞 口 。 如 果 为 个 人 客户 ， 则 需要 客户 的 收入 、 学 历 、 工 作 单 位 类 
型 等 作为 确定 信用 额度 的 依据 。 如 果 为 企业 客户 ， 则 需要 收集 企业 客户 的 经 营 情况 和 财务 
情况 。 分 析 企 业经 营 情况 的 目的 是 判断 企业 产品 是 否 具备 市 场 竞争 力 、 企 业 是 否 具有 持续 
的 盟 利 能 力 ， 通 过 分 析 其 春 利 能 力 来 判断 其 偿 债 能 力 。 分 析 企 业 财务 情况 的 目的 是 判断 企 
业 是 否 存 在 财务 风险 , 评估 的 数据 来 源 包括 资产 负债 表 、 损益 表 (利润 表 )、 现金 流量 表 等 。 

企业 为 了 维持 与 客户 的 关系 ， 需 要 两 类 数据 源 作为 支持 。 

第 一 类 是 来 自 客户 对 企业 产品 或 服务 的 故障 申告 、 投 诉 、 建 议 等 ， 通 过 这 些 数据 可 以 
发 现 客户 在 产品 或 者 服务 使 用 过 程 中 存在 的 问题 ， 并 尽快 解决 产品 中 存在 的 问题 ， 提 升 客 
户 服务 水 平 。 

第 二 类 来 自 企业 对 客户 产品 或 者 服务 使 用 过 程 中 存在 问题 的 主动 发 现 ， 在 客户 还 没有 
进行 故障 申告 或 者 投诉 的 时 候 就 修复 问题 或 者 主动 对 客户 进行 提示 ， 增 强 客户 对 企业 的 好 
感 。 比 如 电信 运营 商 可 以 使 用 移动 用 户 的 上 网 记录 来 主动 发 现 客户 上 网 是 否 存在 速度 问题 ， 
是 否 存在 基站 容量 不 足 等 问题 ， 如 果 通 过 分 析 发 现 客户 访问 某 些 应 用 的 数据 量 大 并 且 访 问 
该 应 用 的 客户 总 体 ARPU ( 单 用 户 平均 收入 ) 值 高 ， 说 明 该 应 用 以 及 访问 该 应 用 的 客户 群 
体 都 是 高 价值 的 ， 同 时 发 现 移动 用 户 到 该 应 用 之 间 是 跨 电信 运营 商 网 络 的 ， 由 于 不 在 同一 
个 网 络 ， 根 据 经 验 判断 该 区 域 的 移动 用 户 访问 这 个 高 价值 应 用 的 速率 一 定 不 高 ， 因 此 可 以 
建议 该 应 用 的 提供 商 在 该 区 域 增加 CDN (内 容 交 付 网 络 ) 节点 , 解决 该 区 域 移动 用 户 对 该 
应 用 的 跨 网 访问 问题 ， 通 过 缩短 移动 用 户 到 应 用 之 间 的 网 络 访问 路 径 来 提高 移动 用 户 上 网 
体验 。 

当 客 户 具 有 离开 企业 的 倾向 时 ， 企 业 应 当 及 时 发 现 并 赢 回 客户 。 引 起 客户 离开 企业 的 
原因 包括 : 客户 自身 原因 、 企 业 原因 、 竞 争 对 手 原 因 。 企 业 应 当 利 用 大 数据 来 预测 客户 离 
开 的 真正 原因 。 如 果 是 客户 自身 的 原因 ， 比 如 客户 喜欢 尝试 新 的 产品 因此 换 成 竞争 对 手 的 
产品 , 如 果 确 认 确 为 客户 自身 不 可 逆转 的 原因 , 企业 不 必 在 这 类 客户 身上 耗费 太 多 的 成 本 。 
如 果 是 企业 自身 的 原因 ， 企 业 应 当 分 析 是 哪 一 类 原因 ， 然 后 采取 相应 的 补救 措施 。 比 如 客 
户 是 因为 企业 的 客户 服务 水 平 低 而 离开 的 ， 这 时 企业 需要 提高 服务 质量 ， 如 果 客 户 是 因为 
企业 的 产品 质量 存在 问题 而 离开 的 ， 则 企业 需要 提升 产品 质量 。 如 果 客 户 是 因为 竞争 对 手 
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原因 离开 的 ， 则 企业 需要 找 出 企业 与 竞争 对 手 的 差距 ， 然 后 在 这 些 差距 方面 进行 提升 。 比 
如 竞争 对 手 推 出 了 上 网 速度 更 快 更 稳定 的 产品 ， 那 么 企业 就 应 当 采 用 先进 的 技术 来 提升 产 
品质 量 。 
那么 ， 对 于 客户 流失 预测 需要 的 数据 源 包括 客户 对 企业 的 产品 使 用 数据 、 客 户 服务 数 
据 、 客 户 账户 数据 、 企 业 竞争 对 手数 据 等 。 通 过 对 以 上 数据 进行 整合 ， 可 以 发 现 客户 对 产 
品 的 使 用 频率 、 客 户 账户 余额 、 客 户 投诉 内 容 、 竞 争 对 手 产品 资费 对 比 等 ， 进 而 判断 客户 
是 否 具 有 离开 企业 的 倾向 。 
互联 网 的 发 展 ， 为 人 类 提供 了 实体 空间 之 外 的 另 一 个 虚拟 空间 ， 借 助 这 个 没有 边际 界 
限 的 互联 网 ， 人 与 人 之 间 的 社交 方式 也 发 生 了 巨大 的 变化 。 新 型 的 基于 互联 网 的 社交 方式 
一 方面 可 以 从 各 种 社交 圈子 中 获取 信息 ， 男 一 方面 个 人 也 可 以 快速 发 布 自己 的 见解 ， 使 得 
言论 通过 圈子 迅速 传播 。 在 这 个 信息 获取 和 信息 发 布 的 过 程 中 ， 形 成 了 大 量 的 数据 ， 为 了 
保证 信息 传播 的 速度 ， 同 样 需 要 大 数据 技术 来 作为 支撑 。 


2.2.5 ”大 数据 与 供应 商 /渠道 商 关 系 管理 


随 着 经 济 发 展 的 全 球 化 和 一 体 化 ， 商 业 模 式 从 单一 链条 的 价值 链 (Value Chain) 模式 
发 展 到 网 络 模式 ， 世 界 进入 价值 网 络 (Value Network) 时 代 。 在 价值 网 络 时 代 ， 企 业 之 间 
的 协同 更 加 紧密 ， 竞 合 关系 更 加 复杂 ， 企 业 需 要 更 加 敏捷 地 应 对 外 部 环境 变化 。 

作为 为 企业 提供 输入 的 供应 商 ， 在 价值 网 络 时 代 变 得 更 加 重要 ， 供 应 商 产 品 和 服务 的 
提供 速度 、 质 量 、 价 格 等 对 于 企业 来 说 越 来 越 重要 。 

男 一 方面 ， 作 为 为 企业 交付 产品 的 渠道 商 (分销 商 、 零 售 商 等 )， 借 助 其 商品 整合 能 
力 和 本 地 客户 资源 优势 ， 在 价值 网 络 时 代 也 成 为 企业 重要 的 合作 伙伴 。 企 业 与 供应 商 、 客 
户 、 渠 道 商 等 合作 伙伴 的 关系 如 图 2-2-10 所 示 。 


图 2-2-10 价值 网 络 时 代 企业 对 外 合作 关系 
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每 个 企业 都 有 提高 产品 和 服务 的 供应 商 ， 同 时 也 有 帮助 企业 销售 产品 和 服务 的 渠道 
商 ， 下 面 就 对 大 数据 与 企业 这 两 种 角色 分 别 进行 分 析 。 


1. 大 数据 与 供应 商 关 系 管 理 


供应 商 作为 企业 的 输入 部 分 ， 对 于 企业 对 外 提供 产品 和 服务 起 着 重要 的 作用 ， 尤 其 是 
企业 的 采购 范围 扩大 到 全 球 ， 加 大 了 采购 风险 ， 供 应 商 关系 管理 更 加 重要 。 

在 大 数据 时 代 ， 企 业 应 当 实时 地 监控 供应 链 运行 情况 并 对 可 能 存在 的 风险 进行 评估 ， 
迅速 果断 地 采取 补救 措施 。 企业 还 需要 打破 企业 内 部 采购 、 运 营 、 营 销 等 部 门 的 竖井 模式 ， 
实现 内 部 信息 共享 。 同 样 ， 企 业 还 应 当 实现 与 外 部 供应 商 的 信息 共享 ， 让 供应 商 能 够 获知 
企业 的 市 场 情况 ， 包 括 企业 的 客户 对 哪些 产品 感 兴趣 、 对 于 产品 的 使 用 评价 等 ， 辅 助 供应 
商 及 时 调整 产品 和 服务 的 生产 。 

与 客户 关系 管理 类 似 ， 作 为 企业 “输入 ”的 供应 商 ， 同 样 需 要 进行 关系 管理 ， 原 因 如 
下 : 首先 ， 供 应 商 为 企业 供应 的 产品 和 服务 对 于 企业 形成 产品 非常 重要 ， 如 果 企 业 没 有 好 
的 供应 品 ， 那 么 企业 也 难以 为 其 客户 提供 好 的 产品 和 服务 ， 可 见 供应 商 提供 的 产品 质量 是 
非常 重要 的 。 其 次 ， 为 了 应 对 市 场 需要 ， 企 业 需要 供应 商 按照 时 间 要 求 供应 产品 和 服务 ， 
以 便 在 市 场 竞争 中 争 得 先 机 。 对 于 企业 来 说 ， 对 供应 商 的 要 求 主要 包括 速度 、 质 量 、 价 格 
三 个 方面 。 速 度 决定 了 企业 向 客户 提供 产品 和 服务 的 速度 ， 而 质量 则 决定 了 企业 向 客户 提 
供 的 产品 和 服务 的 质量 。 价 格 则 决定 了 企业 向 客户 提供 的 产品 和 服务 的 价格 高 低 。 企 业 应 

当 综合 平衡 产品 获取 速度 、 质 量 以 及 价格 。 

从 大 数据 对 于 供应 商 关系 管理 的 支持 角度 看 ， 企 业 需要 借助 大 数据 全 面 、 准 确 地 获取 
所 需 供应 品 的 价格 、 质 量 、 供 应 商 信誉 等 信息 ， 寻 找 高 性 价 比 的 供应 品 ， 为 了 保证 企业 在 
市 场 中 的 竞争 力 ， 需 要 与 供应 商 建立 战略 性 伙伴 关系 ， 以 保证 供应 品 的 稳定 交付 。 不 同 渠 
道 的 供应 商 数据 与 供应 商 关 系 管理 目标 如 图 2-2-11 所 示 。 

企业 为 了 实现 对 供应 商 关 系 的 有 效 管理 ， 提 升 自身 产品 的 市 场 竞争 力 ， 需 要 从 尽 可 能 
多 的 渠道 收集 供应 商 相关 数据 ， 包 括 供应 商 的 产品 、 价 格 、 和 运营、 财务、 资质、 信誉 等 数 
据 ， 以 便 及 时 掌握 各 供应 商 的 产品 情况 ， 降 低 生产 经 营 风险 。 


2. 大 数据 与 渠道 商 关 系 管理 


广义 上 讲 ， 合 作 伙伴 涵盖 一 切 与 企业 有 合作 关系 的 组 织 ， 包 括 设备 供应 商 、 内 容 提供 
商 、 服 务 提供 商 、 分 销 商 、 零 售 商 等 。 为 了 区 分 合作 伙伴 与 供应 商 的 关系 ， 本 书 中 的 合作 


| 74 


第 2 章 
联姻 : 当 企业 架构 爱 上 大 数据 


伙伴 特 指 渠道 商 。 渠 道 商 包括 分 销 商 、 批 发 商 、 零 售 商 、 代 理 商 等 一 切 帮 助 企 业 销售 产品 


图 2-2-11 与 供应 商 相关 的 数据 与 企业 的 关系 


渠道 商 整 合 了 来 自 多 个 商家 的 商品 ， 因 此 渠道 商 提供 的 商品 齐全 ， 种 类 丰富 ， 为 客户 
提供 了 更 加 便捷 的 商品 和 服务 ， 由 于 渠道 商 直接 掌控 大 量 的 客户 资源 ， 因 此 具备 强 的 议价 
能 力 ， 可 以 提供 价格 更 低 的 商品 。 因 而 ,在 商品 极其 丰富 的 时 代 ， 体 现 了 渠道 为 王 的 特征 。 
例如 ,沃尔玛 、 家 乐 福 等 主打 家 庭 生 活用 品 的 销售 ， 而 苏宁 电器 、 大 中 电器 等 则 聚焦 在 家 
电 产 品 的 销售 ， 成 为 当代 成 功 的 渠道 商 。 

对 于 企业 来 说 ， 只 有 做 好 与 渠道 商 的 关系 管理 ， 才 能 够 帮助 企业 将 产品 和 服务 传递 到 
客户 手中 。 当 然 ， 企 业 与 再 售 商 合作 中 提高 销售 能 力 的 同时 ， 也 会 以 牺牲 销售 佣金 为 代价 。 
与 企业 与 供应 商 的 关系 管理 类 似 ， 企 业 与 渠道 商 的 关系 管理 同样 包括 渠道 商 信息 管理 、 准 
入 管理 、 合 同 管理 、 佣 金管 理 等 。 企 业 也 应 当 积极 寻找 最 适合 的 渠道 商 ， 设 置 准 入 门槛 ， 
建立 和 健全 退出 机 制 。 此 外 ， 企 业 还 需要 建立 针对 渠道 商 的 激励 机 制 。 

与 企业 与 供应 商 的 关系 管理 类 似 ， 企 业 与 渠道 商 之 间 同 样 需 要 建立 完善 的 信息 共享 机 
制 , 企业 应 当 通 过 采集 来 自 渠道 商 的 产品 销售 数据 和 客户 服务 数据 , 发 现 产品 的 销售 情况 、 
客户 对 于 产品 的 评价 等 ， 以 便 确 定 产品 规划 重点 并 改进 产品 质量 。 


2.2.6 ”大 数据 与 计 费 收费 管理 


企业 为 客户 提供 产品 或 者 服务 ， 相 应 的 客户 也 需要 按照 合同 约定 为 企业 支付 产品 或 者 
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服务 的 使 用 费用 。 企 业 向 客户 收费 的 方式 有 多 种 类 型 ， 比 如 时 长 、 次 数 、 流 量 、 利 息 、 租 
息 等 ， 时 长 是 一 种 按照 使 用 期 限 收费 的 方式 ， 多 用 于 服务 型 企业 ， 包 括 年 、 月 、 日 、 时 、 
分 、 秒 等 多 种 方式 。 对 于 用 于 销售 的 产品 ， 由 于 让 渡 了 产品 的 所 有 权 ， 因 此 往往 是 一 次 性 
收费 ， 对 于 无 形 的 服务 ， 通 常 基于 客户 使 用 来 进行 收费 。 比 如 ， 电 信 运 营 商 提供 的 通信 服 
务 ， 通 常 根据 用 户 的 通话 时 长 、 上 网 流量 、 发 送 次 数 等 进行 收费 。 对 于 提供 存 贷款 业务 的 
银行 ， 往 往 根据 资金 占用 的 时 间 成 本 来 收费 。 对 于 互联 网 提供 的 信息 服务 ， 通 常 采用 对 用 
户 免费 对 投放 广告 的 企业 收费 的 反 向 收费 模式 。 

以 电信 运营 商 为 例 ， 其 计 费 过 程 要 经 过 使 用 记录 采集 、 合 并 、 格 式 化 、 分 拣 、 去 重 、 
批 价 、 优 惠 、 出 账 的 过 程 。 随 着 市 场 竞争 的 日 益 激 烈 ， 为 客户 提供 实时 消费 情况 查询 的 功 
能 越 来 越 迫切 ， 而 此 时 用 户 产 生 的 上 网 行为 记录 越 来 越 大 ， 为 了 解决 这 一 问题 ， 人 迫切 需要 
采用 大 数据 技术 。 

比如 像 银 行 这 样 的 金融 机 构 ， 由 于 互联 网 金融 的 发 展 ， 人 们 可 以 通过 多 种 第 三 方 支付 
方式 《〈 比 如 支付 宝 、 财 付 通 等 ) 完成 资金 支付 ， 同 时 也 需要 从 银行 系统 转账 到 第 三 方 支付 
账户 ， 因 此 形成 了 大 量 的 银行 之 间 转 账 的 记录 。 为 了 提高 用 户 对 于 实时 交易 记录 的 查询 需 
求 ， 也 需要 借助 大 数据 技术 实现 高 性 能 的 查询 。 

大 数据 时 代 ， 数 据 规 模 大 对 于 系统 性 能 提出 了 越 来 越 大 的 挑战 ， 因 此 ， 如 何 实时 地 计 
算 客户 业务 使 用 产生 的 费用 ， 防 止 收入 流失 ， 成 为 企业 控制 风险 的 重要 内 容 ， 因 此 ， 企 业 
可 以 利用 大 数据 技术 ， 预 测 用 户 使 用 行为 ， 提 高 海量 数据 的 实时 计 费 能 力 ， 及 时 进行 风险 
预警 ， 对 于 异常 消费 应 当 具备 及 时 关 停 服务 的 能 力 。 


2.2.7 大 数据 与 人 力 资源 管理 


随 着 经 济 的 全 球 化 和 一 体 化 ， 国 与 国之 间 ， 企 业 与 企业 之 间 逐 步 演变 成 人 才 的 竞争 ， 
谁 拥 有 人 才 ， 谁 就 能 够 取得 竞争 优势 。 

对 于 企业 ， 人 力 资 源 管理 包括 对 于 员工 的 全 生命 周期 管理 ， 包 括 员工 招募 、 培 训 、 考 
核 、 评 价 、 晋 升 、 降 级 、 工 资 、 福 利 、 离 职 等。 下 面 从 识 人 、 用 人 、 育 人 三 个 方面 进行 
分 析 。 


1. 第 一 阶段 : 识 人 


识 人 ， 就 是 发 现 适 用 于 企业 的 人 才 。 识 人 可 以 分 为 从 企业 外 部 发 现 并 招募 人 才 和 从 企 
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业内 部 发 现 并 选拔 人 才 两 种 类 型 。 对 于 从 企业 外 部 招募 人 才 ， 传 统 的 做 法 是 中 华 英才 网 、 

猫 聘 网 等 人 才 中 介 、 朋 友 轿 推荐 的 方式 。 对 于 从 企业 内 部 选拔 和 人才， 通常 是 采用 竞聘 、 领 

导 推 荐 等 方式 获得 。 

大 数据 时 代 ， 企 业 可 以 采用 社交 网 站 作为 获取 人 才 信息 的 新 渠道 ， 通 过 建立 企业 人 才 

库 ， 从 不 同 来 源 收集 人 才 信 息 并 建立 人 才 全 视图 ， 构 建 人 才 评价 模型 ， 对 人 才 进 行 多 维度 
打分 ， 作 为 人 才 评 价 的 参考 和 依据 。 


2. 第 二 阶段 : 用 人 


vy 


人 的 目标 是 实现 人 尽 其 才 , 发 挥 员 工 的 特长 和 优势 ,实现 企业 与 员工 的 双赢 。 当 然 ， 
用 人 的 同时 也 需要 结合 员工 自身 的 主观 发 展 意向 。 

大 数据 记录 了 员工 的 业绩 信息 ， 可 以 作为 任用 的 依据 。 同 时 ， 由 于 一 个 人 的 职业 生涯 
可 能 就 职 于 多 家 企业 ， 这 时 应 当 尽 可 能 收集 员工 全 部 从 业经 历 ， 以 便 发 现 员工 的 技能 和 特 
长 ， 将 其 与 工作 需求 结合 起 来 。 


3. 第 三 阶段 育 人 


在 当今 时 代 ， 科 学 技术 大 大 改变 了 社会 生产 与 生活 方式 ， 社 会 变化 比 以 往 更 快 ， 社 会 
的 专业 化 分 工 越 来 越 细 ， 需 要 企业 员工 不 断 地 学 习 新 知识 、 掌 握 新 技能 才能 跟 得 上 时 代 。 

为 了 使 得 员工 获得 企业 需要 的 知识 和 技能 , 企业 可 以 制订 培训 计划 , 让 员工 快速 成 长 ， 
提高 企业 的 整体 竞争 力 。 

培训 讲师 队伍 对 于 学 习 型 企业 来 说 非常 重要 。 企 业 可 以 借助 大 数据 构建 培训 师 知识 
库 ， 培 训 知 识 库 的 数据 源 可 以 是 以 往 培训 师 信 息 ， 包 括 培训 课程 、 培 训 对 象 、 培 训 效果 等 ， 
也 可 以 从 企业 内 部 培养 业余 培训 师 。 


2.2.8 大 数据 与 财务 管理 


人 才 对 于 企业 非常 重要 ， 但 是 与 人 “ 才 ” 相 对 的 另 一 个 “ 财 ” 也 非常 重要 。 人 才 为 企 
业 创 新 发 展 提供 智力 支持 ， 而 “ 财 ” 则 为 企业 发 展 提供 资金 支持 ， 两 者 对 于 企业 都 是 非常 
重要 的 。 从 服务 型 企业 的 一 把 手 通常 主要 负责 “人 ”和 “ 财 ” 也 可 以 看 出 两 者 的 重要 性 。 
对 于 社会 来 说 ， 资 金 是 社会 资源 配置 的 工具 和 手段 ， 对 于 企业 来 说 则 是 企业 内 部 各 种 
资源 配置 的 工具 和 手段 。 从 资金 的 运动 方向 看 ， 资 金 包 括 收 入 和 支出 两 个 方向 。 企 业 为 了 
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为 社会 提供 产品 或 者 服务 ， 首 先 需要 消耗 企业 内 部 的 各 种 资源 ， 从 财务 的 角度 看 ， 各 种 资 
源 的 消耗 产生 各 种 成 本 支出 ， 然 后 企业 再 通过 让 渡 产品 或 者 提供 服务 ， 从 客户 那里 获得 收 
入 和 利润 。 
资金 如 水 ， 可 以 渗透 到 企业 生产 经 营 的 各 个 环节 。 从 成 本 流 看 ， 企 业 融 资 需要 消耗 资 
金成 本 ， 需 要 向 供应 商 支 付 材料 费 和 服务 费 ， 为 渠道 商 支 付 的 销售 佣金 ， 向 员工 支付 工资 
和 奖金 等 。 从 收入 流 看 ， 企 业 通过 销售 产品 或 者 提供 服务 可 以 获得 收入 ， 因 为 对 外 投资 可 
以 获得 资金 利息 ， 因 此 设备 或 者 场地 出 租 获得 租金 收入 等 。 可 见 ， 无 论 是 企业 的 利润 收入 
还 是 企业 成 本 支出 ， 都 是 存在 多 种 方式 的 。 
企业 的 财务 活动 包括 两 个 层次 。 在 操作 层次 ， 财 务 专员 需要 按照 财务 会 计 准 则 进行 应 
收 和 应 付 的 管理 ， 在 管理 层次 ， 企 业 财 务 经 理会 按照 要 求 形成 各 种 财务 报表 ， 为 企业 生产 
经 营 决 策 或 者 外 部 监管 机 构 所 使 用 。 
企业 生产 经 营 的 目的 是 获取 利润 ， 因 此 成 本 效益 是 企业 财务 分 析 的 主要 考量 点 。 成 本 
效益 可 以 通过 多 个 维度 来 完成 ， 比 如 产品 维度 、 项 目 维度 等 。 比 如 ， 企 业 需 要 预测 或 者 评 
价 某 产 品 的 成 本 效益 情况 ， 需 要 计算 该 产品 的 成 本 和 该 产品 的 预期 或 者 已 产生 的 收入 。 如 
果 企 业 采 用 了 项 目的 管理 模式 ， 那 么 就 需要 以 该 项 目 为 中 心 ， 计 算 项 目的 成 本 及 其 收入 。 
传统 财务 分 析 的 方法 是 关注 财务 发 生 的 结果 , 通常 采用 资产 负债 表 、 利润 表 (损益 表 )、 
现金 流量 表 来 分 析 企 业 的 财务 运行 情况 。 同 时 ， 由 于 企业 所 有 权 与 经 营 权 的 分 离 ， 要 求 企 
业 将 财务 数据 向 企业 所 有 者 公布 。 企 业 财 务 分 析 的 第 二 个 用 途 是 指导 企业 的 生产 经 营 决策 ， 
比如 某 产 品 或 者 某 项 目 是 否 具 有 成 本 效益 , 是否 值得 做 ? 如 果 值得 做 ,其 预期 收益 是 多 少 ? 
会 计 科目 是 对 会 计 要 素 的 具体 内 容 分 类 核算 的 科目 ， 可 以 记录 企业 的 收入 和 支出 情 
况 ， 是 财务 管理 的 基础 ， 可 以 形成 资产 负债 表 、 利 润 表 、 现 金 流 量 表 等 。 以 会 计 科目 为 基 
础 的 财务 会 计 记 录 了 企业 发 生 的 收 支 数据 ， 再 结合 企业 项 目 、 产 品 、 人 员 等 信息 ， 可 以 从 
多 个 维度 来 观察 企业 的 财务 情况 。 
财务 分 析 结果 好 比 企业 生产 经 营 结果 的 一 个 “快照 ”只 能 看 到 “结果 ”不 能 看 到 “过 
程 ”虽然 能 够 满足 企业 外 部 监管 机 构 或 者 投资 者 的 需求 , 但 是 难以 满足 生产 经 营 管理 人 员 
的 科学 决策 需求 。 为 此 ， 业 界 提出 了 基于 活动 的 成 本 分 析 方 法 ,俗称 ABC (Activity Based 
Cost) 成 本 分 析 法 。 通 过 会 计 科目 与 业务 活动 的 影射 ， 可 以 实现 财务 与 业务 的 双向 透视 ， 
如 图 2-2-12 所 示 。 
在 企业 的 生产 经 营 过 程 中 ， 借 助 财务 会 计 来 记录 企业 的 各 种 收入 和 支出 情况 ， 包 括 产 
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品 销售 、 服 务 提 供 、 场 地 出 租 等 收入 数据 以 及 原材料 采购 、 工 资 奖金 支付 、 佣 金 支 付 、 利 
息 等 支出 数据 。 借 助 信息 系统 ， 以 上 数据 可 以 从 项 目 、 产 品 、 部 门 等 多 个 维度 查看 ， 分 析 


判断 企业 财务 风险 。 
资产 负债 分 析 结 果 项 目 成 本 效益 分 析 结果 
产品 成 本 效益 分 析 结果 
部 门 成 本 效益 分 析 结 果 
基础 数据 (项 目 、 深 道 、 组 织 、 地 域 等 ) 
活动 数据 (时 间 、 地 点 、 人 员 、 内 容 等 ) 


图 2-2-12 基于 财务 与 业务 的 一 体 化 分 析 


现金 流 分 析 结 果 


通过 基于 会 计 科 目的 财务 核算 ， 可 以 查看 企业 的 财务 表现 ， 但 仅仅 可 以 看 到 某 个 时 段 
内 的 “结果 ”， 无 法 看 到 “过 程 ” 如 果 将 业务 与 财务 贯通 ， 就 可 以 实现 财务 与 业务 的 双向 
透视 ， 帮 助 企业 管理 者 发 现 企业 业务 活动 中 消耗 的 成 本 〈 人 工 工资 成 本 、 资 金成 本 、 资 产 
折旧 成 本 等 )， 进 行 更 加 科学 的 资源 配置 。 


2.2.9 大 数据 与 资产 管理 


资产 是 从 价值 角度 对 资源 的 定义 ， 资 产 范围 包括 有 形 的 厂房 、 机 器 设备 、 工 具 、 材 料 
等 ， 也 包括 无 形 的 知识 产权 、 商 标 、 品 牌 等 。 随 着 移动 互联 网 的 发 展 ， 数 据 逐 渐 成 为 企业 
重要 的 无 形 资产 。 

对 于 有 形 的 资产 ， 可 以 借助 大 数据 进行 价值 评估 ， 提 高 资产 管理 的 准确 性 。 由 于 机 器 
设备 等 有 形 资产 会 在 使 用 过 程 中 产生 损耗 ， 因 此 通常 会 通过 折旧 法 来 计算 资产 的 现 值 ， 折 
旧 方法 包括 直线 法 、 工 作 量 法 、 加 速 折旧 法 等 ， 但 是 这 种 方法 都 具有 天 然 的 不 足 ， 企 业 可 
以 借助 机 器 设备 使 用 过 程 中 的 运行 记录 、 维 修 记 录 、 保 养 记录 等 来 辅助 判断 资产 的 价值 ， 
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做 到 对 资产 价值 更 加 准确 的 评估 。 
2.2.10 本 节 内 容 小 结 


制定 正确 的 企业 发 展 战 略 的 前 提 是 “知己 、 知 彼 光 “知己 ”是 企业 应 当 能 够 及 时 、 准 
确 地 掌握 企业 内 部 人 、 财 、 物 等 各 种 资源 情况 和 能 力 情况 。“ 知 彼 ” 是 要 掌握 企业 所 处 的 外 
部 宏观 环境 情况 和 竞争 对 手 发 展 情况 。 大 数据 可 以 帮助 企业 汇聚 来 自 企 业内 部 和 外 部 的 各 
种 数据 ， 通 过 对 比分 析 ， 发 现 问题 和 差距 ， 进 而 制定 符合 企业 发 展 的 中 长 期 发 展 战略 。 

企业 发 展 战略 明确 了 企业 资源 配置 的 目标 、 重 点 与 步骤 ， 成 为 企业 基础 设施 建设 的 指 
南 针 ， 同 时 ， 企 业 基 础 设施 建设 又 是 产品 构成 和 服务 提供 的 物质 基础 。 大 数据 可 以 帮助 企 
业 更 好 地 完成 规划 设计 、 招 标 采购 以 及 运行 维护 。 在 规划 设计 阶段 ， 可 以 基于 用 户 业务 使 
用 大 数据 来 判断 应 用 的 价值 和 用 户 的 价值 ;在 招标 采购 阶段 ， 可 以 基于 不 同 来 源 的 产品 数 
据 和 用 户 产品 使 用 评价 数据 ， 辅 助 完 成 采购 产品 的 质量 评价 、 配 置 对 比 、 价 格 对 比 ， 利 用 
大 数据 选取 性 价 比 高 并 且 适 合 于 企业 的 产品 和 服务 。 在 运行 维护 阶段 ， 可 以 根据 基础 设施 
的 运行 情况 来 制定 基础 设施 优化 和 退出 计划 ， 并 为 基础 设施 的 招标 采购 提供 数据 支持 。 

产品 是 贯通 企业 前 后 台 的 核心 元 素 。 前 台 反 映 了 产品 的 市 场 特征 ， 包 括 产品 面向 的 客 
户 群 体 、 营 销 渠道 、 产 品 价格 、 服 务 方式 等 ， 后 台 反 映 了 产品 的 资源 特征 ， 包 括 产品 的 构 
成 、 成 本 、 生 命 周 期 等 。 通 过 分 析 产 品 的 市 场 实施 推广 情况 ， 辅 助 产品 的 定义 。 通 过 分 析 
产品 的 价格 、 销 量 、 单 位 成 本 、 成 本 对 象 等 ， 完 成 产品 的 成 本 效益 分 析 ， 确 定 产品 的 市 场 
进入 、 渗 透 、 推 广 或 者 退出 策略 。 

在 社会 商品 极其 丰富 的 买方 市 场 ， 客 户 关系 成 为 企业 生存 和 发 展 的 关键 因素 。 从 企 
与 客户 关系 的 生命 周期 看 ， 客 户 关系 包括 建立 、 维 系 、 挽 留 、 终 止 、 恢 复 几 个 阶段 ， 企 
应 当 利 用 大 数据 ， 及 时 发 现 客户 关系 所 处 的 状态 并 采取 相应 的 措施 。 

供应 商 为 企业 生产 经 营 提供 输入 ， 其 提供 的 产品 和 服务 决定 了 企业 为 客户 提供 的 产品 
和 服务 的 质量 和 速度 。 渠 道 商 则 帮助 企业 销售 产品 和 服务 ， 其 产品 的 销售 情况 决定 了 企业 
应 当 制 定 什么 样 的 产品 开发 策略 ， 为 客户 提供 什么 样 的 服务 。 在 价值 网 络 时 代 ， 企 业 应 当 
具备 敏捷 地 响应 外 部 环境 变化 的 能 力 。 大 数据 可 以 帮助 企业 及 时 、 准 确 地 掌握 供应 品 市 场 
情况 和 产品 销售 情况 ， 以 便 企业 做 出 正确 的 产品 生产 决策 和 供应 品 采购 决策 。 

企业 为 客户 提供 产品 和 服务 的 同时 ， 需 要 向 客户 收取 费用 。 对 于 服务 型 企业 ， 主 要 是 
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在 客户 的 业务 使 用 过 程 中 进行 计 费 和 收费 。 对 于 客户 规模 大 ， 业 务 复杂 的 服务 型 企业 ， 需 
要 具备 费用 实时 或 者 准 实时 计 费 的 能 力 和 风险 控制 能 力 。 企 业 可 以 借助 大 数据 ， 提 高 业务 
使 用 记录 的 采集 能 力 、 计 费 能 力 、 费 用 实时 查询 能 力 以 及 实时 的 风险 控制 能 力 ， 以 便 提升 
客户 服务 体验 ， 降 低 企 业 收入 流失 。 
科学 技术 是 第 一 生产 力 ， 而 掌握 先进 科学 技术 的 是 人 才 ， 未 来 社会 的 竞争 必然 是 人 才 
的 竞争 。 因 此 ， 如 何 发 现 、 吸 引 、 选 拔 、 留 住人 才 成 为 企业 提升 竞争 力 的 关键 。 企 业 可 以 
利用 大 数据 ， 设 计 人 才 选 拔 模型 ， 寻 找 和 构建 适合 企业 发 展 的 人 才 队 伍 。 
企业 的 目标 是 获取 利润 ， 因 此 财务 的 “ 财 ” 与 人 才 同 样 重 要 。 财 务 管理 基础 的 会 计 科 
目 ， 企 业 通 常 以 一 定 的 会 计 周期 为 单位 统计 形成 财务 报表 ， 典 型 的 财务 报表 包括 资产 负债 
表 、 损 益 表 和 现金 流量 表 。 财 务 报表 是 静态 的 , 无 法 反映 企业 生产 经 营 过 程 中 的 收 支 情况 ， 
因此 需要 通过 业务 与 财务 的 映射 ， 实 现 基于 活动 的 成 本 管理 。 企 业 可 以 利用 大 数据 ， 将 财 
务 数据 与 业务 数据 关联 起 来 ， 从 多 个 维度 、 多 个 环节 透视 企业 的 财务 情况 。 
对 企业 而 言 ， 资 源 反映 了 物 的 使 用 属性 ， 而 资产 则 反映 了 物 的 价值 属性 。 从 财务 的 角 
度 看 , 企业 资产 经 过 使 用 ， 随 着 时 间 的 流逝 会 发 生 折 旧 , 为 了 科学 地 衡量 企业 的 资产 状况 ， 
尤其 是 对 于 那些 专业 的 资产 管理 公司 ， 会 通过 资产 的 维修 记录 、 保 养 记录 、 运 行 记录 等 数 
据 来 评估 资产 的 价值 ， 以 便 降低 企业 整体 经 营 风 险 。 
总 之 ， 大 数据 可 以 应 用 于 企业 战略 、 运 营 管理 等 多 个 方面 ， 企 业 可 以 基于 业务 活动 的 
不 同 阶段 ， 想 象 大 数据 可 以 为 企业 能 力 带 来 的 提升 。 


2.3 对 号 人 座 : 定位 大 数据 发 力 点 


立足 于 业务 过 程 框架 和 业务 过 程 块 ， 不 仅 能 够 有 利于 快速 发 现 新 的 大 数据 服务 ， 又 便于 从 业务 
角度 来 管理 越 来 越 多 的 大 数据 服务 。 


前 面 已 经 从 时 间 维 度 和 空间 维度 ， 对 企业 业务 过 程 进行 了 框架 设计 ， 将 企业 的 各 种 业 
务 活动 进行 分 层 分 类 管理 ， 形 成 了 既 相互 独立 又 相互 联系 的 业务 过 程 集合 体 。 

企业 以 发 展 战 略为 指引 ， 完 成 了 从 建设 到 运营 的 业务 活动 的 实施 。 大 数据 的 出 现 ， 为 
企业 更 好 地 完成 业务 活动 提供 了 燃料 ， 有 了 大 数据 服务 支撑 的 业务 活动 ， 将 会 更 加 快速 、 
科学 地 支持 企业 决策 ， 提 升 企业 的 整体 竞争 能 力 。 
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下 面 就 以 业务 过 程 框架 为 出 发 点 ， 分 析 企业 业务 活动 是 如 何 利用 大 数据 来 提升 自身 能 
力 的 。 下 图 2-3-1 是 企业 业务 过 程 一 级 框架 ， 标 有 数字 编号 的 矩形 框 是 大 数据 服务 可 以 支 
持 企业 业务 过 程 的 区 域 。 

基于 业务 过 程 框架 的 大 数据 应 用 如 图 2-3-1 所 示 。 


战略 、 基 础 设施 、 产 品 


市 场 营销 与 提供 管 
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服务 开发 与 管理 服务 管理 与 运营 
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i | 


供应 链 开发 与 管理 供应 商 / 合 作 伙 伴 关系 管理 


源 管理 与 运营 


EL 
[ee 


企业 战略 企业 风险 管理 | FEET 
与 规划 管理 


财务 和 利益 相关 者 和 对 外 关系 管理 人 力 资源 管理 
a 人 


图 2-3-1 基于 业务 过 程 框架 的 大 数据 服务 覆盖 区 域 


下 面 就 以 企业 业务 过 程 框架 为 指引 ， 分 析 企业 不 同 的 业务 过 程 域 可 能 需要 的 大 数据 
服务 。 


2.3.1 市 场 营销 和 提供 管理 


企业 实施 市 场 营销 的 最 佳 时 机 是 企业 有 机 会 接触 客户 的 时 候 ， 因 此 企业 应 当 抓 住 与 客 
户 接触 的 大 好 机 会 ， 利 用 大 数据 ， 提 升 营 销 、 销 售 以 及 服务 能 力 。 
客户 通过 打 电 话 、 上 网 、 去 实体 营业 厅 等 多 种 方式 来 获取 企业 提供 的 产品 和 服务 ， 客 
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户 与 企业 之 间 的 交互 行为 包括 网 页 浏览 、 故 障 申告 、 业 务 投诉 、 咨 询 建议 、 业 务 使 用 、 费 

用 支付 等 。 企 业 应 当 充分 利用 这 些 接触 点 ， 把 握 时 机 ， 利 用 大 数据 进行 针对 性 营销 、 销 售 
和 服务 。 

企业 可 以 结合 客户 所 在 的 位 置 、 使 用 的 访问 设备 、 接 入 的 渠道 等 场景 ， 推 荐 适合 客户 
的 产品 或 者 服务 ， 实 现 企业 产品 或 者 服务 与 客户 需求 之 间 的 精准 匹配 。 

市 场 营 销 与 提供 管理 过 程 需 要 的 大 数据 服务 包括 : 

(1) 浏览 时 进行 实时 个 性 化 的 推介 。 例 如 ， 搜 索引 擎 记录 了 客户 近期 的 搜索 历史 ， 当 
客户 浏览 网 页 时 ， 可 以 投放 与 客户 搜索 关键 词 相 关 的 广告 。 

(2) 结账 时 实时 的 个 性 化 产品 推介 。 客 户 为 产品 或 者 服务 支付 费用 时 ， 企 业 可 以 基于 
预先 对 客户 偏好 的 分 析 结 果 向 客户 推荐 产品 或 者 服务 。 

(3) 在 线 互动 时 实时 的 个 性 化 产品 推介 。 例 如 ， 当 客户 向 企业 咨询 问题 时 ， 企 业 可 以 
为 客户 推荐 可 能 喜欢 的 产品 或 者 服务 ， 实 现 交叉 营销 或 者 向 上 营销 。 

(4) 基于 位 置 的 实时 的 个 性 化 产品 推介 。 例 如 ， 当 通信 用 户 离开 归属 地 并 在 拜访 地 停 
留 接近 一 个 月 之 前 ， 电 信和 运营 商 可 以 为 用 户 推荐 新 的 套餐 。 

(5) 基于 使 用 的 实时 的 个 性 化 产品 推介 。 当 客户 正在 使 用 企业 提供 的 业务 A 时 ， 可 以 
为 其 推荐 其 他 业务 。 比 如 当 客 户 使 用 企业 提供 的 主机 托管 产品 时 ， 可 以 为 其 推荐 云 计算 产 
品 和 云 安全 产品 。 

(6) 基于 设备 的 实时 的 个 性 化 产品 推介 。 企 业 可 以 根据 用 户 访问 的 应 用 ， 结 合用 户 移 
动 终端 当前 的 能 力 ， 发 现 当前 终端 设备 能 力 的 不 足 ， 并 为 用 户 推荐 具备 支持 该 应 用 能 力 的 
终端 。 用 户 只 需 单 击 链接 就 可 以 进入 产品 展示 界面 ， 客 户 可 以 查看 推荐 的 终端 信息 并 一 键 
下 单 。 

(7) 基于 浏览 历史 的 智能 化 广告 。 客 户 浏览 历史 包括 浏览 网 页 、 停 留 时 长 等 信息 ， 企 
业 可 以 根据 浏览 历史 预测 客户 的 消费 倾向 ， 为 其 推荐 符合 其 偏好 的 商品 。 


2.3.2 ”服务 开发 与 管理 


服务 是 企业 对 资源 的 封装 和 编排 后 形成 的 能 力 。 企 业 为 了 实现 敏捷 地 响应 外 部 市 场 需 
求 ， 需 要 首先 将 资源 封装 为 服务 ， 然 后 通过 对 服务 的 重新 编排 快速 形成 新 的 业务 。 服 务 
可 以 分 为 不 可 再 分 的 原子 服务 和 由 多 个 原子 服务 组 合 而 成 的 组 合 服务 。 

例如 ， 电 信 运 营 商 的 宽带 接 入 业务 是 由 三 个 服务 编排 后 形成 的 ， 这 三 个 服务 分 别 为 : 
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基于 线路 的 线路 配置 服务 、 基 于 端口 资源 的 端口 配置 服务 以 及 基于 账号 资源 的 用 户 认证 服 
务 。 从 资源 到 服务 的 实现 过 程 如 图 2-3-2 所 示 。 

大 数据 作为 企业 的 新 型 无 形 资源 ， 同 样 可 以 像 企 业 有 形 资源 那样 ， 通 过 封装 和 编排 ， 
满足 企业 内 部 需要 和 对 外 开放 需要 。 笔 者 将 服务 开发 与 管理 过 程 的 大 数据 服务 分 为 电信 运 
营 商 大 数据 服务 和 虚拟 运营 商 大 数据 服务 两 大 类 。 

企业 对 外 提供 的 大 数据 服务 主要 是 要 考虑 隐私 与 法 律 问题 ， 可 以 通过 匿名 、 统 计数 据 
开放 、 数 据 审批 等 方法 来 解决 隐私 触犯 以 及 由 此 带 来 的 法 律 纠纷 问题 。 


用 户 认证 服务 
(SvrAuth 


图 2-3-2 宽带 接 入 业务 从 资源 到 服务 形成 的 过 程 


2.3.3 资源 开发 与 管理 


资源 是 企业 提供 产品 和 服务 的 核心 支撑 ， 而 企业 的 资源 总 是 有 限 的 。 例 如 ， 通 信和 网络 
资源 的 开发 需要 大 量 的 资金 投入 ， 可 以 基于 客户 价值 实现 资源 的 最 优 配 置 。 

对 于 一 个 发 起 新 订单 的 客户 ， 如 果 他 是 新 客户 ， 则 可 以 将 与 他 〈 她 ) 的 订单 相似 的 客 
户 对 网 络 的 影响 作为 参考 点 进行 网 络 容量 预测 。 如 果 他 是 一 位 老 客 户 ， 就 可 以 通过 分 析 该 
客户 以 往 订 单 对 于 资源 的 影响 来 调整 资源 容量 ， 以 便 为 客户 提供 可 靠 的 服务 ， 提 升 客户 
感知 。 
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基于 策略 的 能 力 管理 主要 针对 那些 资源 配置 和 变更 难度 大 的 企业 ， 大 数据 可 以 分 析 客 
户 当前 或 预期 行为 、 客 户 价值 等 ， 然 后 资源 规划 者 可 以 针对 不 同 用 户 的 使 用 行为 设计 不 同 
的 策略 ， 软 件 定义 网 络 (Software Defined Network.SDN) 就 是 一 个 例子 。 
以 电信 运营 商 的 网 络 资源 为 例 ， 其 包含 的 大 数据 服务 有 : 
(1) 基于 价值 的 网 络 规划 。 可 以 基于 用 户 业 务 的 使 用 行为 形成 的 大 数据 ， 分 析 网 络 影 
响 的 用 户 特征 ， 用 户 价值 水 平 ， 根 据 用 户 价值 来 确定 网 络 建设 或 者 扩容 的 优先 级 。 
(2) 新 订单 影响 分 析 。 新 订单 势必 对 现 有 资源 容量 、 配 置 等 造成 冲击 ， 因 此 应 当 利用 
网 络 资源 数据 ， 对 新 订单 的 影响 进行 分 析 。 
(3) 基于 策略 的 容量 管理 。 通 常情 况 下 通过 增加 硬件 和 软件 资源 来 提升 系统 的 容量 ， 
借助 网 络 质量 、 客 户 价值 、 客 户 使 用 偏好 、 客 户 支 付 偏好 等 大 数据 ， 预 测 客户 新 的 需求 对 
于 系统 容量 的 影响 ， 就 可 以 实现 基于 策略 的 容量 管理 ， 实 现 资源 的 优化 配置 。 


2.3.4 ”服务 实施 


服务 实施 过 程 属 于 售 中 阶段 ， 其 作用 是 完成 客户 业务 的 开通 。 服 务实 施 一 般 包 括 订单 
处 理 和 安装 实施 两 个 环节 ， 企 业 可 以 利用 订单 处 理 、 客 户 自 助 安装 、 企 业 上 门 安装 中 的 经 
验 , 提高 订单 转化 成 功率 , 提高 安装 实施 的 客户 满意 度 。 服 务实 施 过 程 的 大 数据 服务 包括 : 

(1) 增加 在 订购 过 程 中 的 转化 。 在 业务 开通 的 过 程 中 ， 客 户 可 能 会 因为 开通 时 间 长 、 
竞争 对 手提 供 更 优惠 的 产品 资费 等 原因 而 放弃 开通 ， 这 时 企业 可 以 利用 客户 所 在 位 置 、 使 
用 设备 等 现场 数据 来 分 析 和 预 判 客户 取消 订单 的 概率 并 预先 采取 措施 。 

(2) 减少 订单 处 理 过 程 中 的 错误 。 通 过 预先 分 析 和 测试 订单 处 理 过 程 中 涉及 的 环节 ， 
减少 订单 处 理 过 程 中 的 错误 。 

(3) 客户 自助 安装 优化 。 通 过 对 历史 的 客户 订单 数据 ， 包 括 安装 位 置 、 安 装 人 员 、 成 
功 与 否 等 进行 分 析 ， 预 测 客户 自助 安装 胜任 度 、 优 化 设备 配送 流程 、 主 动 提醒 客户 、 测 试 
客户 是 否 成 功 安装 。 

(4) 现场 技术 人 员 优化 配置 。 通 过 对 于 历史 安装 或 者 维修 数据 的 分 析 ， 分 析 不 同 技术 
人 员 擅长 的 技能 ， 将 任务 分 配给 最 合适 的 人 员 ， 实 现 现场 技术 人 员 的 排 班 管理 。 

(5) 现场 技术 人 员 到 场 时 间 优 化 。 根 据 以 往 技术 人 员 解 决 任务 的 时 长 、 日 程 安排 等 数 
据 预测 现场 技术 人 员 到 达 客 户 现场 可 能 的 时 间或 者 延迟 时 间 ， 对 到 场 时 间 进 行 优化 ， 并 及 
时 通知 客户 ， 提 升 客户 感知 水 平 。 
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2.3.5 客户 关系 管理 


当 客户 使 用 企业 的 产品 后 ， 根 据 客 户 对 产品 或 者 服务 的 使 用 情况 ， 企 业 应 当 对 客户 进 
行 关怀 、 维 系 、 挽 留 等 

企业 提供 人 工 服务 的 成 本 比 提供 自助 服务 的 成 本 高 很 多 ， 为 了 降低 企业 客户 服务 成 
本 ， 企 业 应 当 尽 可 能 引导 客户 采用 自助 渠道 解决 问题 。 

企业 通过 分 析 客 户 资费 、 网 络 信号 质量 以 及 从 社交 媒体 等 收集 到 的 数据 ， 提 前 预测 客 
户 可 能 咨询 的 问题， 并 主动 推送 给 客户 ， 以 减少 客户 使 用 人 工 服务 的 次 数 和 时 间 ， 降 低 企 
业 运 营 成 本 。 

电信 运营 商 可 以 为 客服 代表 提供 网 络 分 析 数据 ， 以 提升 客户 服务 能 力 。 网 络 分 析 数 据 
包括 多 个 维度 ， 比 如 客户 所 在 区 域 、 行 动 路 线 等 空间 维度 ， 还 可 以 是 语音 通话 、 视 频 通话 、 
网 络 浏览 等 媒体 和 应 用 维度 。 企 业 根据 客户 所 处 时 间 、 地 点 、 行 动 轨迹 、 所 使 用 的 终端 、 
应 用 等 对 网 络 性 能 进行 分 析 ， 以 便 客 服 代表 更 好 地 为 客户 服务 。 

客户 关系 管理 过 程 需要 的 大 数据 服务 包括 : 

(1) 个 性 化 的 实时 互动 。 通 过 大 数据 分 析 ， 可 以 对 客户 可 能 向 企业 获取 的 服务 进行 预 
测 ， 以 将 客户 问题 迅速 引导 到 正确 的 流程 和 人 员 ， 快 速 为 客户 解决 问题 并 提高 企业 运营 
效率 。 

(2) 增强 客户 自助 服务 的 有 效 性 。 自 助 服务 可 以 大 大 降低 企业 运营 成 本 ， 但 是 自助 服 
务 毕 况 是 机 器 提供 的 ， 智 能 化 程度 比 人 工 服务 要 差 ， 企 业 可 以 借助 大 数据 服务 ， 分 析 企业 
在 提供 自助 服务 过 程 中 存在 的 问题 并 进行 优化 完善 ， 通 过 提高 自助 服务 水 平 降低 整体 运营 
成 本 。 

(3) 主动 关怀 。 通 过 对 下 单 、 支 付 、 业 务 使 用 等 记录 的 分 析 ， 主 动 发 现 客户 在 不 同 环 
节 存 在 的 问题 并 实施 主动 的 客户 关怀 ， 比 如 通过 分 析 电信 网 络 质量 记录 ， 对 客户 使 用 中 的 
不 便 进行 短信 致 鞭 。 

(4) 在 恰当 的 渠道 和 时 间 实施 主动 关怀 。 通 过 大 数据 分 析 ， 发 现 客户 接受 服务 的 渠道 
和 时 间 并 主动 实施 客户 关怀 ， 比 如 分 析 发 现 客户 倾向 于 通过 短信 渠道 与 企业 互动 ， 那 么 企 
业 可 以 优先 采用 短信 渠道 与 客户 互动 。 

(5) 基于 糟糕 关怀 体验 的 主动 关怀 。 通 过 大 数据 分 析 ， 发 现 那些 具有 糟糕 关怀 体验 的 
客户 并 实施 主动 关怀 。 
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(6) 用 于 客户 维系 的 流失 风险 预测 。 通 过 大 数据 分 析 ， 发 现 具有 流失 倾向 的 客户 并 进 
行 主动 维系 ， 防 止 客户 流失 。 
(7) 用 于 客户 维系 的 流失 动机 预测 。 通 过 大 数据 分 析 ， 发 现 客户 流失 的 动机 ， 为 维系 
客户 提供 参考 和 依据 。 
(8) 用 于 客户 维系 的 个 性 化 推介 。 通 过 大 数据 分 析 ， 可 以 发 现 客户 流失 的 动机 以 及 可 
能 流失 的 客户 群体 ， 对 比 实施 相应 客户 关怀 后 而 没有 流失 的 客户 ， 找 出 防止 客户 流失 的 个 
性 化 方案 。 
(9) 在 网 络 故障 期 间或 之 后 实施 主动 关怀 。 信 息 服务 提供 商 通过 大 数据 分 析 ， 发 现 网 
络 出 现 故 障 ， 则 对 于 网 络 影响 范围 内 的 客户 实施 主动 关怀 。 
(10) 采用 网 络 体验 分 析 提 升 客户 关怀 能 力 。 这 是 信息 通信 服务 提供 商 特 有 的 大 数据 
能 力 。 通 过 大 数据 分 析 ， 可 以 建立 一 个 全 面 的 、 不 同 视角 的 客户 网 络 体验 画像 ， 包 括 不 同 
位 置 、 不 同时 间 段 、 不 同 使 用 类 别 等 视角 。 


2.3.6 资源 管理 与 运营 


运行 中 的 资源 会 发 生 故 障 并 影响 到 客户 对 于 企业 提供 服务 的 使 用 ， 企 业 可 以 利用 大 数 
据 分 析 以 往 类 似 故障 产生 的 原因 和 解决 方案 ， 并 应 用 到 新 的 网 络 故 障 检测 和 修复 过 程 中 。 

网 络 带 宽 资 源 总 是 有 限 的 ， 尤 其 是 无 线 网 络 资源 。 当 用 户 数量 多 而 带宽 资源 有 限时 ， 
通常 会 发 生 网 络 拥塞 ， 就 像 公路 上 赛车 一 样 ， 车 多 道路 资源 少 ， 车 自然 走 不 起 来 。 在 这 种 
情况 下 ， 企 业 可 以 利用 大 数据 来 获取 客户 价值 、 流 失 风险 系数 等 数据 ， 根 据 这 些 数据 来 为 
用 户 分 配 网 络 带宽 ， 保 证 高 价值 用 户 具 有 更 好 的 网 络 使 用 体验 。 

电信 运营 商 的 网 络 设备 发 生 故 障 后 用 户 无 法 使 用 通信 服务 的 一 段 时 间 内 ， 电 信 运 营 商 
可 以 利用 大 数据 来 分 析 因 网 络 故 障 受到 影响 的 客户 以 及 客户 所 处 的 位 置 、 使 用 的 应 用 、 客 
户 的 价值 、 流 失 风险 等 ， 根 据 这 些 数据 来 进行 网 络 修复 并 通知 受 影响 的 客户 群 。 

资源 管理 与 运营 过 程 需要 的 大 数据 服务 包括 : 

(1) 网 络 故障 定位 和 恢复 。 企 业 可 以 根据 网 络 告警 、 网 络 性 能 、 网 络 运行 日 志 等 网 络 
大 数据 ， 实 现 网 络 故 障 定位 和 恢复 ， 提 高 网 络 的 自动 修复 能 力 。 

(2) 基于 价值 的 实时 拥塞 管理 。 通 过 对 网 络 进行 DPI 操作 、 客 户 ARPU 等 大 数据 分 析 ， 
可 以 发 现 客户 正在 使 用 的 业务 类 型 和 客户 的 价值 ， 然 后 可 以 根据 客户 的 价值 来 提供 不 同 质 
量 的 网 络 服务 。 
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(3) 客户 实时 降级 管理 。 通 过 大 数据 分 析 ， 可 以 实时 发 现 网 络 资源 情况 和 客户 价值 ， 
将 低 价值 客户 自动 转移 到 低 价值 网 络 中 ， 这 样 高 价值 客户 就 可 以 享受 更 好 的 网 络 服务 ， 降 
低 了 企业 的 总 体 运 营 成 本 。 


2.3.7 ”合作 伙伴 关系 管理 


作为 企业 合作 伙伴 的 分 销 商 、 批 发 商 、 零 售 商 等 在 产品 销售 中 发 挥 着 非常 大 的 作用 ， 
企业 可 以 利用 大 数据 来 调整 激励 手段 和 佣金 规则 。 

合作 伙伴 关系 管理 过 程 需要 的 大 数据 服务 为 合作 伙伴 价值 优化 。 通 过 大 数据 分 析 ， 可 
以 调整 激励 计划 、 佣 金 规则 、 结 算 规则 等 ， 通 过 有 效 管理 企业 与 合作 伙伴 的 关系 ， 提 高 企 
业 销 售 能 力 。 


2.3.8” 计 费 与 收入 保障 


企业 的 收入 有 多 个 来 源 并 且 经 过 多 个 处 理 环节 ， 如 果 不 能 够 准确 处 理会 对 企业 造成 收 
入 流失 ， 对 于 计 费 收费 中 出 现 的 错误 也 应 当 及 时 调整 并 通知 客户 。 

企业 可 以 利用 大 数据 来 分 析 与 收入 相关 的 数据 源 及 数据 处 理 过 程 ， 发 现存 在 的 无 主 记 
录 和 错误 记录 ， 避 免 收入 流失 。 

计 费 与 收费 保障 过 程 所 需 的 大 数据 服务 为 收入 保障 。 通 过 大 数据 分 析 ， 对 客户 在 业务 
使 用 、 采 集 、 计 费 等 所 有 环节 进行 监控 、 分 析 和 预警 ， 及 时 发 现 问题 和 解决 问题 ， 防 止 收 
入 流失 。 


2.3.9 企业 战略 规划 


制定 企业 战略 规划 决定 了 企业 发 展 的 方向 和 道路 ， 而 市 场 战 略 是 企业 战略 的 排头 兵 。 
企业 可 以 利用 内 部 和 外 部 数据 来 制定 市 场 发 展 战略 。 

市 场 观 察 对 象 和 内 容 包括 竞争 对 手 产品 、 新 产品 、 技 术 发 展 趋势 、 来 自 社交 媒体 的 评 
论 等 。 

企业 战略 规划 过 程 所 需 的 大 数据 服务 有 市 场 观 察 等 。 通 过 大 数据 分 析 ， 可 以 掌握 企业 
竞争 对 手 、 其 他 企业 市 场 空间 、 产 品 市 场 接受 度 等 。 
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2.3.10 ”企业 效率 管理 


业务 过 程 执行 效率 的 高 低 关乎 企业 的 运营 成 本 和 客户 感知 ， 因 此 优化 业务 过 程 ， 提 高 
业务 过 程 执行 的 成 功率 非常 重要 。 

企业 可 以 利用 大 数据 来 发 现 业务 过 程 执行 失败 的 原因 并 及 时 解决 问题 ， 也 可 以 通过 自 
动 适 应 的 方式 来 提高 业务 过 程 执行 的 成 功率 。 

企业 效率 管理 过 程 所 需 的 大 数据 服务 包括 业务 过 程 优化 等 。 通 过 大 数据 分 析 ， 可 以 发 
现 企业 业务 执行 过 程 中 存在 的 问题 ， 实 现 自动 化 的 业务 过 程 改进 。 通 过 业务 过 程 优化 ， 可 
以 提高 企业 运营 效率 ， 提 升 企业 内 部 员工 和 外 部 客户 的 感知 水 平 。 


2.3.11 ”财务 和 资产 管理 


据 估 计 ， 企 业 大 约 有 3%6 的 欺诈 事件 发 生 ， 欺 诈 事 件 为 企业 带 来 了 很 大 的 经 济 损失 。 

企业 可 以 利用 大 数据 从 欺诈 案例 中 掌握 欺诈 模式 并 通过 暂停 业务 、 提 醒 等 方式 来 减少 
因 欺 诈 带 来 的 损失 。 

财务 与 资产 管理 过 程 所 需 的 大 数据 服务 包括 防 欺诈 管理 等 。 大 数据 分 析 可 以 从 以 往 欺 
诈 案例 中 提取 出 欺诈 模式 ， 可 以 对 欺诈 进行 预测 ， 并 通过 阻止 、 提 醒 等 方式 实现 反 欺诈 。 
借助 大 数据 分 析 ， 可 以 使 得 企业 对 于 欺诈 行为 的 预测 更 加 准确 。 


2.3.12 ”本 节 内 容 小 结 


本 节 以 企业 业务 过 程 框架 为 指引 ， 分 析 业 务 过 程 所 需 的 大 数据 服务 ， 是 一 种 从 业务 视 
角 出 发 寻找 大 数据 服务 的 正 向 思维 。 这 种 方法 可 以 更 加 明显 地 看 到 大 数据 服务 对 企业 业务 
活动 的 支持 产生 的 价值 和 作用 。 

本 节 仅 仅 列举 了 几 个 典型 的 大 数据 服务 ， 实 际 上 企业 根据 数据 源 的 多 寡 可 以 形成 很 多 
创新 型 的 大 数据 服务 。 大 数据 服务 可 以 帮助 企业 更 好 地 制定 发 展 战略 ， 支 持 企业 更 好 地 制 
定 建设 和 运营 决策 。 应 用 需求 主要 来 自 于 外 部 市 场 需 求 和 内 部 管理 要 求 ， 而 大 数据 服务 需 
求 更 多 地 依赖 于 企业 管理 者 的 经 验 和 想象 力 。 
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2.4 能 力 落 地 : 大 数据 服务 数据 源 及 其 关键 实现 活动 


数据 源 是 大 数据 服务 的 “ 根 *， 决 定 了 大 数据 服务 的 能 力 ， 可 以 基于 可 能 获取 到 的 数据 源 ， 初 步 
确定 实现 大 数据 服务 的 关键 活动 。 


前 面 首先 基于 企业 业务 过 程 框架 ， 对 大 数据 应 用 进行 了 畅想 ， 然 后 再 以 企业 业务 过 程 
框架 为 支点 ， 分 析 了 其 所 需 的 大 数据 服务 。 下 面 从 数据 的 视角 ， 分 析 这 些 大 数据 服务 所 需 
的 数据 源 及 大 数据 服务 实现 的 关键 活动 。 


2.4.1 聚集 大 数据 : 发挥 资源 聚合 效应 


不 同 组 织 具 有 不 同 的 职能 ， 因 此 每 个 组 织 的 信息 系统 功能 及 其 产生 的 数据 也 势必 不 
同 。 大 数据 的 特征 之 一 就 是 数据 的 多 样 性 ， 而 要 发 挥 大 数据 服务 的 作用 ， 首 先 要 集成 不 同 
来 源 的 数据 ， 才 能 发 挥 整体 能 力 。 

例如 ， 对 于 社会 中 存在 的 某 个 自然 人 来 说 ， 其 行为 轨迹 通常 会 发 生 在 购物 、 人 际 交往 、 
购物 、 旅 行 、 就 餐 等 活动 中 ， 而 这 些 轨 迹 则 分 别 被 商场 、 超 市 、 旅 游 公 司 、 餐 饮 店 、 银 行 
等 机 构 所 记录 。 自 然 人 的 生活 轨迹 如 图 2-3-3 所 示 。 

如 果 能 够 尽 可 能 多 地 获取 到 关于 某 个 自然 人 的 数据 ， 就 能 够 更 加 准确 地 把 握 他 (她 》 
的 行为 取向 。 对 于 销售 产品 的 企业 来 说 ， 就 能 够 更 好 地 推荐 产品 ， 提 供 服务 。 不 同 来 源 的 
数据 汇 入 大 数据 资源 池 如 图 2-3-4 所 示 。 

站 在 企业 的 角度 ， 数 据 越 完整 越 好 ， 这 样 才能 更 好 地 反映 个 人 或 者 组 织 的 全 貌 。 可 以 
说 ,企业 采集 的 数据 越 全 面 ， 数 据 的 活跃 度 越 高 ， 企 业 就 拥有 了 更 多 的 “资产 ”。 当 然 ， 如 
何不 对 这 些 “ 资 产 ” 进 行 挖掘， 那么 即使 这 些 数据 是 “金子 ”， 也 不 会 发 光 的 。 为 了 展示 大 
数据 服务 形成 过 程 ， 首 先 需要 掌握 大 数据 服务 的 数据 源 及 其 关键 实现 活动 。 


2.4.2 ”行业 通用 数据 源 及 关键 实现 活动 


大 数据 服务 形成 的 基础 是 来 自 不 同 渠道 、 不 同 信息 系统 的 数据 源 ， 通 过 对 数据 源 的 分 
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图 2-3-3 自然 人 的 生活 轨迹 


电信 运营 商 数据 库 


通信 行为 数据 


金融 机 构 数 据 库 


理财 行为 数据 


商场 超市 数据 库 


购物 行为 数据 


餐饮 公司 数据 库 


饮食 行为 数据 


旅游 公司 数据 库 
旅行 行为 数据 


交通 机 构 数据 库 
出 行 行为 数据 


图 2-3-4 不 同 来 源 的 数据 汇 入 大 数据 资源 池 


大 数据 运营 
服务 型 企业 架构 新 思维 


数据 源 分 为 必 选 和 可 选 两 种 类 型 。 必 选 数据 是 大 数据 服务 形成 的 前 提 条 件 ， 可 选 数据 


可 以 让 大 数据 服务 具备 更 强 的 能 力 。 本 节 以 电信 运营 商 大 数据 服务 所 需 数据 源 为 例 。 


1. 浏览 时 进行 实时 个 性 化 的 推介 


1) 数据 源 需求 

(1) 必 选 数据 源 。 

产品 目录 、 可 用 性 与 适用 性 规则 、 当 前 正在 或 者 刚刚 浏览 的 商品 。 

(2) 可 选 数据 源 。 

CRM 数据 、 使 用 和 计 费 信息 、 商 品 购买 历史 、 业 务 使 用 数据 、 客 户 位 置信 息 。 

2) 关键 实现 活动 

S1: 收集 客户 购买 、 使 有 用、 支付、 位置 等 客户 相关 信息 ; 

S2: 收集 产品 、 产 品目 录 等 商品 相关 信息 ; 

S3: 分 析 客户 偏好 ， 基 于 可 用 性 与 适用 性 规则 ， 实 现 客户 需求 与 企业 商品 供给 的 有 效 


匹配 ， 将 最 适合 客户 的 商品 展示 在 客户 浏览 区 域 附近 。 


2. 结算 时 实时 的 个 性 化 产品 推介 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

产品 目录 、 可 用 性 与 适用 性 规则 、 当 前 正在 或 者 刚刚 浏览 的 商品 。 

(2) 可 选 数据 源 。 

CRM 数据 、 使 用 和 计 费 信息 、 商 品 购买 历史 。 

2) 关键 实现 活动 

S4: 收集 客户 信息 ， 获 取 ARPU 等 反映 客户 购买 力 的 数据 ， 为 上 行销 售 或 者 交叉 销售 


做 准备 ; 


S5: 收集 企业 产品 信息 ,并 根据 可 用 性 和 适用 性 规则 进行 准 代 商品 或 者 补充 商品 推荐 。 
3. 在 线 互动 时 实时 的 个 性 化 产品 推介 

1) 数据 源 需求 

(1) 必 选 数据 源 。 

产品 目录 、 可 用 性 与 适用 性 规则 、 当 前 交互 场景。 
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(2) 可 选 数据 源 。 

CRM 数据 、 使 用 和 计 费 信息 、 商 品 购买 历史 、 网 上 浏览 历史 、 业 务 使 用 数据 、 接 入 终 
端 使 用 数据 。 

2) 实现 活动 

S1: 获取 客户 购买 、 业 务 使 用 、 接 入 终端 使 有 用、 支付 、 浏 览 等 行为 数据 ， 计 算 客户 的 
消费 能 力 、 购 物 偏好 等 。 在 线 交 互 的 渠道 包括 Web、 电 话 、 自 助 终端 、POS 等; 

S2: 当 客 户 选 购 好 商品 ， 开 始 结算 时 ， 根 据 客户 的 消费 能 力 、 购 物 偏好 等 推荐 其 他 可 
选 商品 或 者 更 高 级 的 商品 。 


4. 基于 位 置 的 实时 的 个 性 化 产品 推介 


移动 互联 网 时 代 的 到 来 ， 企 业 可 以 掌握 客户 的 位 置 与 移动 轨迹 ， 因 此 可 以 基于 客户 位 
置 数据 来 进展 针对 性 营销 。 

1) 数据 源 需 求 

(1) 必 选 数据 源 。 

产品 目录 、 可 用 性 与 适用 性 规则 、 移 动 位 置信 息 、 客 户 列表 。 

(2) 可 选 数据 源 。 

通话 详 单 、 社 交 媒 体 记 录 、 网 上 浏览 历史 。 

2) 关键 实现 活动 

S1: 收集 产品 和 产品 目录 数据 ; 

S2: 收集 客户 近期 通话 、 社 交 网 络 以 及 网 络 浏览 的 历史 数据 ， 分 析 客户 近期 的 位 置 变 
化 规律 ; 

S3: 根据 客户 所 在 位 置 进行 产品 或 者 服务 推荐 。 比 如 对 通话 行为 分 析 后 发 现 客户 在 三 
个 月 内 经 常 有 不 在 归属 地 的 漫游 通话 , 在 社交 网 络 中 也 有 晒 漫 游 地 的 照片 等 , 就 可 以 判断 这 个 
客户 近期 经 常 出 差 。 航 空 公司 可 以 为 其 推荐 航班 ， 电 信 公 司 可 以 为 其 推荐 适合 出 差 的 套餐 。 


5. 基于 使 用 的 实时 的 个 性 化 产品 推介 


企业 可 以 结合 客户 使 用 的 终端 或 者 应 用 推荐 产品 或 者 服务 。 比 如 客户 上 网 流量 超过 某 
个 值 后 ， 电 信 运 营 商 可 以 立即 为 客户 发 送 短信 推荐 更 高 的 产品 套餐 。 

1 数据 源 需求 

(1) 必 选 数据 源 。 
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产品 目录 、 可 用 性 与 实用 性 规则 、 业 务 使 用 数据 、 终 端 使 用 数据 。 
(2) 可 选 数据 源 。 

CRM 数据 、 使 用 和 计 费 信息 、 购 买 历史 。 

2) 关键 实现 活动 

S1: 分 析 客 户 的 行为 和 使 用 规律 ; 

S2: 将 每 个 客户 当 作 一 个 个 体 看 待 ; 

S3: 利用 反馈 结果 持续 地 提高 营销 准确 性 。 


6. 基于 设备 的 实时 的 个 性 化 产品 推介 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

CRM 数据 、 购 买 历史 、 产 品目 录 、 网 络 与 服务 库存 量 数据 、 产 品 性 能 数据 。 
(2) 可 选 数据 源 。 

客户 流失 动机 预测 、 订 单数 据 。 

2) 关键 实现 活动 

S1: 分 析 客 户 当前 使 用 的 设备 ， 包 括 设备 型 号 、 设 备 网 络 制式 、 设 备 能 力 等 。 
S2: 分 析 客 户 每 天 如 何 使 用 设备 ， 比 如 何 时 开关 机 、 何 时 上 网 、 何 时 打 电 话 等 。 


7. 基于 网 页 浏览 历史 的 智能 化 广告 


1) 数据 源 需求 

(1) 必 选 数据 源 。 

网 页 浏览 历史 ， 包 括 每 页 停留 时 间 以 及 带 有 时 间 戳 的 执行 动作 。 

(2) 可 选 数据 源 。 

CRM 数据 。 

2) 关键 实现 活动 

S1: 分 析 客户 的 网 页 浏览 行为 ， 包 括 浏览 的 网 址 、 停 留 的 时 长 、 单 击 的 链接 等 。 
S2: 基于 客户 历史 网 页 浏览 行为 推介 相关 的 产品 。 


8. 移动 用 户 行为 货币 化 
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(1) 必 选 数据 源 。 

通话 记录 单 、 位 置 与 移动 信息 (来 自 移动 网 络 或 GPS )。 

(2) 可 选 数据 源 。 

设备 特征 (例如 手机 品牌 、 操 作 系 统 )、 应 用 类 型 以 及 使 用 情况 (浏览 历史 )、 用 户 身 
份 数据 、 消费 记录 (例如 预付 费 最 高 消费 或 者 后 付费 每 月 费用 )、 社交 媒体 及 其 他 开放 数据 。 

2) 关键 实现 活动 

S1: 分 析 移 动用 户 的 行为 特征 ; 

S2: 将 移动 用 户 行为 应 用 于 市 场 营 销 活动 或 者 与 第 三 方 企业 的 合作 事项 中 。 


9. 产品 定义 与 开发 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

订单 数据 、 产 品目 录 、CRM 数据 、 客 户 价值 数据 、 使 用 和 计 费 信息 、 产 品 性 能 数据 、 
各 渠道 接触 日 志 。 

(2) 可 选 数据 源 。 

外 部 可 以 提升 客户 需求 预测 能 力 的 数据 源 , 例如 竞争 对 手 的 产品 ; 外 部 社交 网 络 分 析 。 

2) 关键 实现 活动 

S1: 理解 哪 一 款 产 品 的 绩效 最 好 以 及 该 款 产 品 绩效 好 的 原因 

S2: 理解 客户 的 偏好 ; 

S3: 深入 理解 竞争 对 手 的 产品 。 


10. 产品 导入 分 析 


1) 数据 源 需 求 
必 选 数据 源 : 客户 位 置信 息 ， 社 交 网 络 分 析 ， 语 音 呼叫 分 析 。 
2) 关键 实现 活动 


S1: 分 析 引 起 产品 成 功 和 失败 的 因素 ; 
S2: 分 析 市 场 以 及 新 产品 在 市 场 中 的 机 会 ; 
S3: 通过 历史 数据 预测 新 产品 的 绩效 。 
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11. 产品 性 能 优化 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

产品 目录 、 可 用 性 和 资格 规则 、 购 物 车 内 当前 或 者 近期 浏览 过 的 商品 、 设 备 使 用 数据 ， 
(网 络 数据 )、CRM 数据 、 使 用 和 计 费 信息 、 购 买 历 史 。 

(2) 可 选 数据 源 。 

客户 位 置信 息 、 社 交 网 络 数据 、 语 音 呼 叫 分 析 。 

2) 关键 实现 活动 

S1: 分 析 当 前 或 者 以 往 产 品 成 功 和 失败 的 因素 ; 

S2: 识别 改进 当前 产品 的 机 会 ; 

S3: 基于 历史 数据 分 析 产 品 变更 后 的 性 能 。 


12. 产品 购买 倾向 分 析 


1) 数据 源 需 求 

必 选 数据 源 : 为 客户 提供 产品 的 历史 记录 ， 包 括 日 期 、 时 间 、 人 位置、 渠道 、 成 功 与 否 
等 信息 ; 产品 购买 历史 ,包括 日 期 、 时间 、 位 置 、 渠 道 等 信息 ; 标识 客户 生命 周期 的 事件 ， 
包括 日 期 和 时 间 ， 例 如 赔偿 、 付 费 、 纠 纷 、 投 诉 等 。 

2) 关键 实现 活动 

S1: 分 析 每 个 客户 与 企业 接触 的 偏好 ， 包 括 接触 时 间 、 接 触 渠道 等 ; 

S2: 预测 客户 购买 产品 的 时 间 和 地 点 。 


13. 主动 关怀 


1) 数据 源 需求 

(1) 必 选 数据 源 。 

CRM 数据 、 使 用 和 计 费 信息 、 支 付 历史 、 购 买 历史 、 网 络 质量 。 
(2) 可 选 数据 源 。 

用 于 增强 对 客户 认识 的 社交 媒体 数据 。 

2) 关键 实现 活动 

S1: 分 析 客户 的 历史 交互 行为 背后 的 规律 ; 
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S2: 预测 对 特定 问题 每 个 客户 与 企业 互动 的 可 能 性 ; 
S3: 为 客户 关怀 活动 推荐 或 者 执行 适用 的 行动 。 


14. 主动 关怀 的 最 佳 时 间 和 渠道 预测 


1) 数据 源 需 求 

必 选 数据 源 。 数 据 和 时 间 戳 : 通话 日 志 、 网 页 日 志 、 外 呼 反馈 、 客 户 自 服务 接触 、 客 
户 在 线 商 店 接触 。 

2) 关键 实现 活动 

S1: 基于 客户 历史 接触 记录 分 析 客户 未 来 行为 

S2: 将 每 个 客户 看 作 单 独 的 个 体 ; 

S3: 预测 企业 与 客户 最 好 的 接触 时 间 和 渠道 。 


15. 基于 糟糕 关怀 体验 的 主动 关怀 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

通话 日 志 、 助 理 渠道 的 通话 成 绩 单 、 非 助理 渠道 的 评价 、 社 会 渠道 的 客户 投诉 。 
(2) 可 选 数据 源 。 

影响 客户 优先 级 的 因素 ， 包 括 客户 VIP 状态 、 客 户 生命 周期 价值 、 客 户 社会 价值 。 
2) 关键 实现 活动 

S1: 分 析 客户 满意 度 低下 的 客户 接触 行为 

S2: 对 具有 糟糕 体验 的 客户 群体 实施 主动 关怀 。 


16. 基于 未 使 用 的 主动 关怀 


1) 数据 源 需求 

(1) 必 选 数据 源 。 

设备 使 用 数据 、CRM 数据 、 理 解 客 户 活动 的 包 检测 。 

(2) 可 选 数据 源 。 

客户 投诉 、 客 户 流失 动机 预测 、 客 户 价值 数据 、 网 络 性 能 数据 、 社 交 网 络 分 析 。 
2) 关键 实现 活动 

S1: 分 析 客户 的 业务 使 用 行为 和 接触 行为 之 间 的 联系 ; 
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S2: 识别 未 使 用 企业 提供 的 业务 的 客户 ; 
S3: 主动 引导 客户 使 用 企业 提供 的 业务 。 


17. 用 于 客户 维系 的 流失 风险 预测 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

CRM 数据 、 使 用 和 计 费 信息 、 购 买 历史 、 支 付 历史 、 网 络 质量 、 通 话 记录 、 来 自 协助 
渠道 的 通话 记录 。 

(2) 可 选 数据 源 。 

来 自 社交 媒体 渠道 的 投诉 。 

2) 关键 实现 活动 

S1: 分 析 客户 流失 的 关键 因素 ; 

S2: 预测 客户 流失 的 概率 。 

18. 用 于 客户 维系 的 流失 动机 预测 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

CRM 数据 、 使 用 和 计 费 信息 、 购 买 历史 、 支 付 历史 、 网 络 质量 、 通 话 记录 、 来 自 协助 
渠道 的 通话 记录 。 

(2) 可 选 数据 源 。 

来 自 社交 媒体 渠道 的 投诉 。 

2) 关键 实现 活动 

S1: 分 析 客 户 流失 的 动机 ; 

S2: 预测 具有 高 流失 概率 的 客户 的 流失 动机 。 

19. 制订 客户 维系 个 性 化 方案 

1) 数据 源 需 求 

必 选 数据 源 ， 客户 流失 动机 预测 、 历 史 维系 记录 、CRM 数据 。 

2) 关键 实现 活动 

S1: 分 析 每 个 客户 的 行为 ; 
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S2: 利用 客户 维系 反馈 结果 不 断 优化 改进 客户 维系 方案 。 
20. 维系 方案 接受 概率 分 析 


1) 数据 源 需 求 

必 选 数据 源 : 历史 供应 品 ( 日 期 、 时 间 、 位 置 、 渠 道 、 成 功 标识 等 )、 购 买 历史 (日 
期 、 时 间 、 位 置 、 渠 道 等 )、 标 有 日 期 和 时 间 的 客户 生命 周期 事件 〈 退 款 、 支 付 、 纠 纷 、 投 
诉 等 )。 

2) 关键 实现 活动 

S1: 分 析 客户 与 企业 接触 的 时 间 、 渠 道 等 偏好 ; 

S2: 预测 客户 接受 维系 方案 的 时 间 和 地 点 。 


21. 实时 的 客户 降 档 管理 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

网 络 质量 数据 、CRM 数据 、 客 户 价值 数据 、 使 用 和 计 费 信息 。 

(2) 可 选 数据 源 。 

帮助 更 好 地 理解 单个 客户 活动 的 数据 (执行 深度 包 检 测 、 设 备 分 析 等 )。 
2) 关键 实现 活动 

S1: 获取 不 同 网 络 选 项 下 的 网 络 质 量 ; 

S2: 分 析 客 户 行为 模式 ; 

S3: 基于 对 客户 预期 行为 的 预 判 来 预测 哪 种 网 络 适用 于 客户 。 


22. 合作 伙伴 价值 优化 


1) 数据 源 需 求 

必 选 数据 源 : 合作 伙伴 管理 数据 、 计 费 和 使 用 事件 、 产 品目 录 、 网 络 数据 、CRM 数据 、 
购买 历史 。 

2) 关键 实现 活动 

S1: 分 析 当 下 激励 计划 、 佣 金 规则 以 及 结算 方式 的 性 能 ; 

S2: 预测 激励 计划 、 佣 金 规则 以 及 结算 方式 的 目标 性 能 ; 

S3: 设计 改进 的 激励 计划 、 佣 金 规则 以 及 结算 方式 ; 
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S4: 在 方案 实施 之 前 进行 性 能 模拟 。 

23. 增加 订购 过 程 中 的 转化 率 

1) 数据 源 需 求 

(1) 必 选 数据 源 。 

订单 及 相关 元 数据 、 订 单 过 程 中 收集 的 客户 数据 、 客 户 场景 数据 〈 位 置 、 设 备 、 物 理 


基础 设施 等 )、 每 个 订单 相关 操作 的 事件 数据 。 


(2) 可 选 数据 源 。 

客户 居住 地 的 社会 经 济 信息 。 

2) 关键 实现 活动 

S1: 分 析 客户 的 真正 需求 ; 

S2: 改进 订单 流程 ， 提 升 订单 转化 成 功率 。 


24. 减少 订单 处 理 过 程 中 的 错误 
1) 数据 源 需 求 


(1) 必 选 数据 源 。 
订单 及 相关 元 数据 、 订 单 过 程 中 收集 的 客户 数据 、 客 户 场景 数据 位置、 设备 、 物 理 


基础 设施 等 )、 每 个 订单 相关 操作 的 事件 数据 。 


| 100 


(2) 可 选 数据 源 。 

客户 居住 地 的 社会 经 济 信息 。 

2) 关键 实现 活动 

S1: 分 析 订单 执行 过 程 中 出 现 错误 的 位 置 ， 
S2: 基于 执行 过 程 中 出 现 错误 的 订单 影响 到 的 客户 的 价值 的 高 低 进行 优先 级 排序 ; 
S3: 主动 或 者 被 动 地 修复 发 现 的 问题 。 
25. 增强 客户 自助 服务 的 有 效 性 

1) 数据 源 需 求 

(1) 必 选 数据 源 。 

CRM 数据 、 外 呼 渠道 成 功 与 否 的 反馈 。 
(2) 可 选 数据 源 。 


第 2 章 
联姻 : 当 企业 架构 爱 上 大 数据 
社交 媒体 渠道 的 投诉 、 订 单数 据 。 
2) 关键 实现 活动 
S1: 分 析 自 助 服务 渠道 流程 中 的 改进 点 ; 
S2: 发 现 产 品 营 销 的 主要 改进 点 ; 
S3: 利用 双人 测试 方法 发 现 自助 服务 渠道 的 界面 改进 点 。 


26. 客户 自助 安装 优化 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

订单 及 相关 元 数据 、 订 单 过 程 中 收集 的 客户 数据 、 客 户 场景 数据 〈 位 置 、 设 备 、 物 理 
基础 设施 等 )、 自 助 安装 案例 的 呼 入 记录 、 外 送 设备 的 配送 记录 、 来 自 客户 设备 的 数据 。 

(2) 可 选 数 据 源 。 

客户 居住 地 的 社会 经 济 信息 。 

2) 关键 实现 活动 

S1: 分 析 客 户 的 自助 安装 技能 水 平 ; 

S2: 以 最 快 的 速度 将 安装 材料 配送 到 客户 手中 

S3: 确保 客户 已 经 成 功 完成 安装 。 


27. 现场 人 员 优化 配置 


1) 数据 源 需求 

(1) 必 选 数据 源 。 

现场 技师 目录 、 以 往 现场 支持 数据 (技师 必须 做 的 工作 、 花 费 的 时 间 、 成 功 还 是 失败 、 
什么 产品 错误 )、 客 户 特 征 及 每 个 任务 的 现场 场景 。 

2) 关键 实现 活动 

S1: 分 析 每 个 技师 的 主要 技术 专长 ; 

S2: 确定 能 够 解决 现场 特定 问题 的 合适 技师 ; 

S3: 通知 技师 需要 为 某 项 任务 重点 准备 什么 。 


28. 现场 人 员 到 场 时 间 优 化 
1) 数据 源 需求 
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(1) 必 选 数据 源 。 

专业 技师 工作 计划 、 每 个 工作 的 历史 档案 、 现 场 技师 工作 起 止 的 实时 通知 。 
(2) 可 选 数据 源 。 

帮助 技术 评估 的 地 图 和 交通 数据 。 

2) 关键 实现 活动 

S1: 持续 获取 现场 每 一 位 技师 的 任务 进展 状态 ; 

S2: 预测 技师 当天 日 程 安排 中 其 他 任务 的 到 场 时 间 ; 

S3: 当 技 师 到 达 现 场 的 时 间 变 化 时 ， 主 动 通知 客户 ; 

S4: 当 技 师 无 法 按照 预定 时 间 到 达 客户 现场 时 ， 需 要 为 该 技师 重新 安排 任务 。 


29. 收入 保障 


1) 数据 源 需 求 

必 选 数据 源 : 计 费 和 使 用 事件 、 网 络 数据 、CRM 数据 (如 支付 历史 )。 

2) 关键 实现 活动 

S1: 检查 未 开票 交易 ， 即 虽然 客户 已 经 使 用 业务 ,但 是 企业 由 于 未 知 原因 未 收取 费用 ， 
S2: 识别 改进 采集 过 程 、 减 少 投诉 的 机 会 ; 

S3: 识别 企业 与 合作 、 结 算 、 漫 游 相关 的 可 能 得 到 改进 的 过 程 。 


30. 个 性 化 收费 处 置 计划 


1) 数据 源 需求 

(1) 必 选 数据 源 。 

可 用 的 收费 行为 目录 、 以 往 收费 行动 、 周 期 、 要 回 债务 的 成 功率 、 应 用 于 特定 客户 的 
收费 行动 、 客 户 特征 。 

(2) 可 选 数据 源 。 

客户 居住 地 的 社会 经 济 信息 ， 使 用 、 购 买 、 订 购 或 者 其 他 能 够 更 好 地 理解 客户 行为 的 
数据 源 。 

2) 关键 实现 活动 

S1: 将 客户 作为 单独 的 个 体 看 待 ， 发 现 收回 资金 的 最 佳 方式 ; 

S2: 对 待 那 些 可 能 无 法 联系 的 客户 要 快速 采取 行动 。 
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31. 市 场 观 察 


1) 数据 源 需 求 

必 选 数据 源 : 企业 战略 计划 、 产 品 性 能 数据 、 企 业 市 场 营销 机 会 、 外 部 社交 网 络 分 析 、 
外 部 技术 数据 、 外 部 市 场 数据 。 

2) 关键 实现 活动 

S1: 分 析 市 场 发 展 趋势 ; 

S2: 评估 企业 应 当 跟 随 哪 一 种 市 场 发 展 趋势 ; 

S3: 基于 外 部 市 场 环境 和 内 部 企业 资源 ， 设 计 企业 战略 发 展 规划 。 


32. 防 欺诈 管理 


1) 数据 源 需 求 

必 选 数据 源 : 计 费 和 使 用 数据 、 网 络 数据 、 位 置 数据 、CRM 数据 (比如 支付 历史 )、 
销售 点 数据 、 供 应 数据 、 信 用 积分 /历史 数据 、 外 部 法 律 相 关 〈 调 查 、 公 安 、 司 法 等 )。 

2) 关键 实现 活动 

S1: 从 以 往 的 欺诈 案例 中 归纳 出 欺诈 模式 ; 

S2: 基于 事件 预测 可 能 的 欺诈 行为 ; 

S3: 采取 阻止 、 提 醒 等 方式 应 对 欺诈 行为 。 


33. 业务 流程 优化 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

CRM 和 计 费 数据 、 订单 管理 和 供应 数据 、 市 场 营销 与 维系 供应 品 数据 、 合 作 伙伴 数据 、 
客户 投诉 、 服 务 问题 、 业 务 流 程 事件 与 数据 、 业 务 流程 日 志 、 社 交 媒 体 。 

(2) 可 选 数据 源 。 

供应 链 、 工 人 、 天 气 、 交 通 等 。 

2) 关键 实现 活动 

S1: 发 现 失败 的 过 程 及 过 程 改进 的 机 会 ， 

S2: 预测 可 能 会 失败 的 过 程 并 提前 采取 行动 ; 

S3: 在 过 程 失 败 之 前 给 出 主动 解决 问题 的 建议 ; 
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S4: 通过 自 适 应 过 程 改进 ， 优 化 系统 性 能 ， 实 现 企业 成 本 效益 的 最 大 化 。 


2.4.3 ”电信 行业 数据 源 及 关键 实现 活动 


数据 
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数据 来 源 于 不 同 的 地 方 ， 不 同行 业 也 有 着 不 同 的 数据 特点 ， 本 节 以 电信 运营 商 特有 的 
源 为 例 进行 说 明 。 
1. 促进 预付 费 转 后 付费 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

CRM 数据 、 购 买 历 史 、 产品 目录、 网 络 与 服务 库存 量 数 据 、 产 品 性 能 数据 、 使 用 数据 。 
(2) 可 选 数据 源 。 

社交 媒体 数据 。 

2) 关键 实现 活动 

S1: 分 析 客 户 从 预付 费 转 到 后 付费 的 原因 ; 

S2: 识别 那些 与 预后 转化 具有 同样 特征 的 客户 ; 

S3: 定位 预付 费 客户 ， 并 用 正确 的 方案 将 其 转化 为 后 付费 用 户 。 


2. 网 络 故 障 期 间或 之 后 的 主动 关怀 


1) 数据 源 需求 

(1) 必 选 数据 源 。 

客户 投诉 、 网 络 故障 数据 、 客 户 资料 。 

(2) 可 选 数据 源 。 

位 置 数据 、 网 络 性 能 数据 、 网 络 质 量 数据 。 

2) 关键 实现 活动 

S1: 分 析 以 往 处 理 类 似 事情 的 成 功 因素 ; 

S2: 识别 网 络 故障 期 间 影响 到 的 客户 ; 

S3: 推荐 正确 的 行动 方案 ， 以 免 客 户主 动 联系 企业 。 
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3. 基于 网 络 体验 分 析 的 主动 关怀 


1) 数据 源 需 求 

必 选 数据 源 : 客户 人 口 统计 、 网 络 数据 〈 集 中 在 3 一 7 层 网 页 日 志 )。 
2) 关键 实现 活动 

S1: 分 析 客户 在 特定 的 时 间 、 位 置 、 应 用 以 及 使 用 方式 的 网 络 体验 ; 
S2: 识别 客户 在 网 络 使 用 体验 中 需要 解决 的 问题 ; 

S3: 对 客户 在 网 络 体验 中 出 现 的 问题 的 严重 性 进行 打分 。 


4. 网 络 故障 定位 与 恢复 


1) 数据 源 需 求 

必 选 数据 源 : 网 络 与 服务 库存 量 数据 、 网 络 故障 数据 、 网 元 日 志文 件 、 网 络 性 能 数据 、 
服务 质量 数据 、 客 户 投诉 、 现 场 测试 、 客 户 关怀 代理 记录 、 网 络 与 服务 使 用 数据 。 

2) 关键 实现 活动 

S1: 基于 历史 网 络 故障 数据 ， 形 成 网 络 失败 模式 ; 

S2: 基于 历史 网 络 故障 数据 ， 人 掌握 网 络 故障 恢复 方法 ; 

S3: 基于 网 络 故障 模式 分 析 结果 ， 预 测 网 络 故障 ; 

S4: 推荐 或 者 执行 正确 的 网 络 故 障 恢 复 过 程 ， 解 决 网络 故 障 。 


5. 基于 价值 的 实时 拥塞 管理 


1) 数据 源 需求 

(1) 必 选 数据 源 。 

网 络 质量 数据 、CRM 数据 、 客 户 价值 数据 、 使 用 和 计 费 数据 。 

(2) 可 选 数据 源 。 

帮助 更 好 地 理解 单个 客户 活动 的 数据 〈 执 行 深 度 包 检测 、 设 备 分 析 等 )。 

2) 关键 实现 活动 

S1: 判断 网 络 策略 是 否 要 求 干 预 ; 

S2: 识别 客户 当前 的 活动 ; 

S3: 基于 业务 活动 ， 为 每 一 个 客户 预测 合适 的 调节 水 平 ; 

S4: 基于 关键 业务 因子 实施 网 络 优先 接 入 策略 ， 例 如 客户 价值 ， 流 失 风 险 等 。 


105 | 


大 数据 运营 
服务 型 企业 架构 新 思维 


6. 主动 体验 驱动 的 网 络 修复 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

网 络 数据 (集中 在 3~7 层 )、CRM 数据 、 客 户 价值 数据 。 
(2) 可 选 数据 源 。 

网 页 日 志 。 

2) 关键 实现 活动 

S1: 基于 网 络 运行 数据 自动 检测 网 络 运行 中 存在 的 问题 ; 
S2: 自动 实施 网 络 问题 修复 

S3: 基于 客户 价值 对 问题 解决 顺序 进行 排序 ; 

S4: 主动 将 问题 通知 到 客户 。 


7. 电信 运营 商 数据 货币 化 


1) 数据 源 需 求 

必 选 数据 源 : 所 有 可 用 的 数据 源 ， 比 如 网 元 、BSS、OSS 等 。 
2) 关键 实现 活动 

S1: 跨越 企业 多 个 管理 域 采集 并 聚合 数据 ; 

S2: 构建 数据 使 用 方 访问 聚合 数据 的 接口 。 


8. 虚拟 运营 商 数据 货币 化 


1) 数据 源 需 求 

(1) 必 选 数据 源 。 

电信 运营 商 内 部 与 虚拟 运营 商 客户 相关 的 数据 。 

(2) 可 选 数据 源 。 

与 虚拟 运营 商 客户 相关 的 所 有 可 用 的 数据 源 ， 比 如 网 元 、BSS、OSS 等 。 
2) 关键 实现 活动 

S1: 收集 与 虚拟 运营 商 相关 的 数据 ; 

S2: 构建 帮助 虚拟 运营 商 发 现价 值 的 大 数据 分 析 服 务 。 
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9. 基于 价值 的 网 络 规划 


1) 数据 源 需求 
(1) 必 选 数据 源 。 
网 络 质量 数据 、CRM 数据 、 客 户 价值 数据 、 使 用 & 计 费 信息 。 
(2) 可 选 数据 源 。 
用 户 提 升 对 客户 认识 水 平 的 社交 媒体 数据 、 用 于 增强 对 未 来 使 用 预测 的 外 部 数据 源 ， 
比如 新 建 的 广场 、 公 园 等 。 
2) 关键 实现 活动 
S1: 掌握 客户 在 不 同 地 点 的 价值 分 布 情况 ; 
S2: 理解 客户 在 不 同位 置 的 使 用 模式 ， 比 如 在 哪里 上 网 ， 在 哪里 打 电 话 等 ; 
S3: 预测 客户 在 特定 位 置 使 用 模式 的 变化 。 


10. 新 订单 影响 分 析 


1) 数据 源 需 求 

必 选 数据 源 : 订单 数据 、 网 络 质量 数据 、 CRM 数据 、 客 户 价值 数据 、 使 用 和 计 费 信息 。 
2) 关键 实现 活动 

S1: 分 析 用 户 历史 行为 ， 并 将 这 些 行为 与 其 他 客户 行为 进行 关联 ; 

S2: 将 新 用 户 的 预期 使 用 行为 分 析 作 为 新 订单 的 一 个 部 分 ; 

S3: 预测 新 用 户 对 于 网 络 质量 的 影响 ; 

S4: 根据 预计 的 影响 推荐 网 络 变更 方案 。 


11. 基于 策略 的 能 力 管理 


1) 数据 源 需 求 

必 选 数据 源 : 网 络 质量 数据 、CRM 数据 、 客 户 价值 数据 、 使 用 和 计 费 信息 。 
2) 关键 实现 活动 

S1: 分 析 客户 的 行为 ; 

S2: 分 析 在 当前 策略 下 的 网 络 性 能 ; 

S3: 设计 并 模拟 网 络 策略 变更 后 的 效果 。 
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2.5 ”主要 内 容 回顾 


企业 架构 的 目标 是 构建 一 个 以 企业 发 展 战 略为 指导 ， 有 效 连接 业务 与 技术 的 、 系 统 化 
的 框架 体系 。 通 过 这 个 系统 化 的 框架 体系 ， 企 业 可 以 实现 高 效 的 运营 ， 更 好 地 发 挥 信息 系 
统 在 企业 发 展 中 的 价值 和 作用 。 

但 是 ， 仅 仅 依靠 设计 良好 的 企业 架构 还 不 能 让 企业 具有 很 强 的 竞争 力 ， 在 移动 互联 网 
时 代 ， 企 业 架 构 必 须 与 大 数据 紧密 结合 起 来 ， 让 大 数据 成 为 支持 企业 架构 的 不 竟 动 力 ， 为 
企业 发 展 战略 提供 参考 依据 ， 为 企业 建设 和 运营 提供 决策 支持 ， 提 升 企业 生产 和 决策 过 程 
的 自动 化 和 智能 化 水 平 ， 降 低 企业 运营 成 本 ， 提 升 企业 整体 运营 效率 。 

企业 的 生产 经 营 活动 反映 在 不 同 的 、 相 互联 系 的 业务 活动 中 。 业 务 活动 分 为 决策 型 和 
操作 型 两 类 ， 决 策 型 业务 活动 则 负责 业务 活动 执行 前 的 分 析 和 判断 ， 而 操作 型 业务 活动 只 
负责 执行 ， 两 者 就 像 人 的 大 脑 和 四 肢 ， 是 “ 知 ” 和 “ 行 ” 的 关系 。 大 数据 服务 的 目标 是 支 
持 企 业 决 策 型 活动 ， 企 业 的 决策 型 业务 活动 就 成 为 发 现 大 数据 服务 的 切入 点 ， 是 一 种 从 决 
策 需求 出 发 ， 正 向 发 现 大 数据 服务 需求 的 方法 。 

为 了 实现 对 业务 活动 的 有 效 管理 ， 通 常 采用 空间 和 时 间 两 个 维度 相 结合 的 方法 ， 形 成 
和 矩阵 式 的 分 层 分 类 管理 框架 ， 即 业务 过 程 框架 。 相 比 于 业务 活动 ， 业 务 过 程 框架 能 够 更 加 
清晰 地 定位 和 管理 大 数据 服务 。 企 业 业 务 过 程 在 时 间 维 度 和 空间 维度 的 交叉 ， 形 成 了 既 相 
互 独立 又 相互 联系 的 过 程 块 。 以 业务 过 程 框架 中 的 业务 过 程 块 为 线索 ， 可 以 快速 定位 大 数 
据 服 务 的 发 力 点 。 

大 数据 服务 在 业务 过 程 框架 中 能 够 实现 对 业务 目标 的 支持 ， 那 么 能 够 支持 业务 目标 实 
现 的 关键 是 丰富 、 全 面 、 高 质量 的 数据 源 ， 可 见 ， 数 据 源 是 大 数据 服务 存在 的 前 提 和 基础 ， 
和 时， 要 想 实现 大 数据 服务 ， 同 样 需要 清晰 地 把 握 大 数据 服务 实现 的 关键 活动 。 

总 之 ， 企 业 架 构 要 想 有 力 地 支撑 企业 的 战略 、 建 设 和 运营 ， 必 须要 借助 大 数据 。 大 数 
据 服 务 让 企业 决策 更 加 全 面 、 高 效 、 正 确 、 准 确 、 自 动 化 以 及 智能 化 ， 可 以 让 企业 快速 感 
知 外 部 环境 变化 ， 及 时 调整 企业 发 展 战 略 ， 提 升 企业 运营 效率 ， 降 低 企 业 运 营 成 本 ， 提 升 
客户 感知 水 平 。 同 时 ， 大 数据 服务 也 必须 与 企业 业务 过 程 框架 相 结合 ， 这 样 大 数据 服务 才 
能 有 机 地 植 入 到 企业 架构 中 ， 更 好 地 找到 自身 的 发 力 点 。 可 见 ， 企 业 架 构 与 大 数据 的 “ 联 
姻 ” 是 企业 在 移动 互联 网 时 代 的 必然 选择 。 
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孕育 : 凡事 预 则 立 ， 不 预 则 废 


在 “ 筑 梨 ”阶段 ， 企 业 以 发 展 战略 为 指导 ， 拱 建 了 一 套 非常 漂亮 的 房子 ， 为 爱情 和 事 
业 打 下 了 基础 。 有 了 坚固 耐用 可 以 挡 风 遮 雨 的 房子 ， 下 一 步 就 要 恋爱 结婚 了 ， 谁 和 谁 恋 爱 
呢 ， 按 照 本 书 的 故事 安排 ， 应 当 说 是 企业 架构 和 大 数据 ， 经 过 一 场 浪漫 缠绵 的 爱情 长 跑 ， 
企业 架构 和 大 数据 终于 走向 “婚姻 ”的 殿堂 了 。 

企业 架构 和 大 数据 “结婚 ”后 ， 自 然 想 到 要 有 两 个 人 的 小 宝宝 ， 小 宝宝 还 没有 出 生 ， 
小 两 口 就 开始 从 长 计 议 了 : 将 来 把 孩子 培育 成 什么 样 的 人 才 ? 如 何 设计 孩子 不 同年 龄 段 的 
教育 计划 ， 等 等 。 

以 上 就 是 以 个 人 成 家 立业 的 过 程 为 喻 ， 分 析 企 业 如 何 从 “ 筑 梨 “联姻 ”一 直到 “ 孕 
育 ” 的 思路 和 方法 。 

正确 的 观念 决定 一 切 。 企 业 架 构 与 大 数据 联姻 之 后 ， 首 先 要 改变 思维 方式 ， 树 立正 确 
的 观念 ， 从 全 局 和 长 远 设计 大 数据 服务 。 

树立 正确 的 观念 重要 ， 掌 握 正确 的 方法 也 非常 重要 ， 方 法 正确 就 会 事半功倍 ， 否 则 就 
会 事倍功半 。 应 当 认识 到 大 数据 服务 与 面向 操作 的 事务 型 应 用 具有 各 自 的 特点 : 前 者 对 于 
数据 的 质量 要 求 高 ， 而 后 者 对 系统 的 响应 性 能 的 要 求 高 ， 前 者 强调 正确 性 ， 后 者 强调 及 时 
性 和 可 靠 性 。 

软件 开发 ， 架 构 先 行 。 从 整体 上 进行 架构 设计 ， 可 以 让 各 个 部 分 高 效 地 协同 配合 ， 提 
高 开发 效率 。 按 照 从 业务 到 技术 逐步 落地 的 思路 ， 可 以 将 大 数据 服务 分 为 业务 运营 和 应 用 
治理 两 个 层次 。 业 务 运 营 框架 关注 整体 结构 ， 而 应 用 治理 框架 则 关注 落地 过 程 。 

数据 模型 是 实现 大 数据 服务 的 关键 部 分 。 为 了 看 到 数据 从 产生 、 加 工 到 集成 、 汇 总 的 
全 过 程 ， 将 支持 业务 操作 的 数据 模型 和 支持 决策 分 析 的 多 维 数据 模型 连接 起 来 ， 以 便 更 加 
清晰 地 看 到 大 数据 服务 这 个 “成 功 人 士 ” 背 后 的 “ 贤 内 助 ”所 做 的 默默 无 闻 的 支持 和 努力 。 

容量 设计 要 满足 大 数据 服务 的 正常 运行 要 求 ， 应 当 对 不 同类 型 的 数据 采取 不 同 的 容量 
管理 策略 ， 保 证 企业 成 本 效益 的 最 大 化 。 大 数据 的 特点 之 一 是 数据 随 着 时 间 的 推移 不 断 增 
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长 ， 因 此 应 当 满 足 计划 期 内 大 数据 服务 容量 的 需求 ， 还 需要 能 够 监控 数据 的 增长 规律 ， 及 
时 扩容 基础 设施 资源 。 
要 根据 数据 的 活性 采取 不 同 的 数据 管理 策略 ， 对 于 系统 中 一 定时 期 内 不 使 用 的 休眠 数 
据 ， 要 及 时 迁移 到 低 成 本 的 存储 区 ， 节 约 大 数据 服务 整体 的 存储 成 本 ， 实 现 最 佳 成 本 效益 。 
大 数据 服务 过 程 设 计 的 目的 是 通过 管理 流程 及 时 发 现 和 解决 问题 。 在 大 数据 服务 设计 
阶段 ， 可 以 定义 关注 大 数据 服务 业务 需求 和 关注 大 数据 服务 架构 实现 的 两 个 角色 。 
本 章 内 容 的 思维 导 图 如 下 : 


[uo 


要 具备 面向 服务 的 思维 方式 ， 将 数据 以 服务 形式 封 著 和 开放 ， 最 大 程度 地 释放 大 数据 能 力 
要 具备 面向 过 程 的 思维 方式 ， 将 大 数据 服务 作为 决策 点 ， 有 机 地 说 入 组 织 的 业务 活动 中 
要 具备 全 生命 周期 的 思维 方式 ， 全 面罩 踪 大 数据 从 产生 、 集 成 、 使 用 、 迁 移 到 归档 、 销 毁 的 过 程 
要 具备 数据 即 资产 的 思维 方式 ， 数 据 资 产 可 以 提升 企业 生产 经 营 能 力 并 降低 风险 ， 具 有 直接 性 和 现 交 性 
价值 创 言 是 衡量 大 数据 能 力 高 任 的 唯一 标准 ， 价 值 网 络 是 大 数据 能 力 引入 和 开放 的 出 发 点 和 落脚 点 
原则 、 过 程 与 组 织 。 | 大 数据 服务 可 以 采用 产品 化 运作 模式 ， 包 括 市 场 和 产品 定义 、 产 品 开发 、 销 售 执行 以 及 效果 评估 的 过 程 
大 数据 产品 中 核心 角色 是 大 数据 产品 经 理 ， 产 局 经 理应 当 具备 把 握 市 场 需求 和 大 数据 服务 设计 能 力 


分 析 处 理 系统 与 事务 处 理 系 统 在 可 靠 性 、 可 用 性 、 可 伸缩 性 、 性 能 、 安 全 性 5 个 方面 存在 很 多 不 同 
性 能 是 事务 处 理 系统 关注 的 重点 ， 而 正确 性 是 分 析 处 理 系统 关注 的 重点 ， 因 此 设计 原则 不 同 


思维 方式 的 转变 


和 分 析 处 理 系统 的 数据 量 会 不 断 增 大 ， 要求 系统 架构 要 呈 备 良好 的 扩展 性 . 可 考虑 基于 云 架 构 部 团 
事务 型 应 用 的 需求 是 “已 知 ” 的 ， 可 以 自 项 而 下 规划 设计 ， 而 分 析 型 应 用 的 需求 是 “未 知 ”的 ， 更 适合 于 敏捷 开发 方法 
_。_ 运 营 框架 分 为 业务 、 应 用 、 数 据 三 个 层次 ， 分 为 操作 和 决策 两 个 部 分 ， 操 作 侧 形成 数据 ， 决 策 侧 采集 和 利用 数据 


/一 一 一-(_ 应 用 框架 是 大 数据 服务 能 力 的 集合 ， 包 括 数据 源 设计 、 数 据 采集 、 存 情 、 管 理 、 分 析 、 治 理 、 应 用 ， 共 7 个 域 
按照 业务 支撑 目标 ， 实 现 对 端 到 端 数据 流动 过 程 的 分 析 ， 分 为 支持 业务 操作 的 数据 模型 和 支持 决策 分 析 的 数据 模型 
Pi 元 数据 是 定义 数据 语义 的 词典 ， 大 数据 服务 不 仅 需要 元 数据 的 结构 ， 还 需要 记录 数据 ETL 过 程 ， 以 便 锯 溯 和 还 原 
在 线 事务 处 理 的 数据 特点 是 处 理 次 数 多 、 单 个 数据 量 小 ， 而 高 线 分 析 处 理 的 数据 特点 是 单个 量 大 、 批 量 处 理 

春生 设计 “| 面向 操作 的 事务 处 理 系统 通常 采用 “主机 + 磁盘 阵列 ”的 架构 方式 ， 计 算 和 存 久 能 力 分 坎 ， 重 点 关注 系统 的 性 能 
面向 决策 的 分 析 处 理 系统 通常 采用 “主机 内 + 磁盘 ”的 集群 方式 ， 将 数据 传输 负荷 置 于 主机 内 部 ,重点 在 横向 扩展 性 
大 数据 服务 目录 是 企业 大 数据 服务 的 能 力 集合 ， 目 录 管 理 过 程 可 以 帮助 组 织 定位 、 利 用 和 完善 大 数据 服务 

_ | 容量 管理 过 程 可 以 监控 和 预 型 大 数据 容量 ， 根 据 数据 活性 和 管理 要 求 迁移 数据 ,保证 大 数据 服务 的 最 佳 成 本 效益 
供应 商 管理 过 程 可 以 实现 对 数据 质量 和 及 时 性 方面 的 管理 ， 组 织 需要 通过 构建 针对 供应 商 的 数据 质量 考评 方法 和 机 制 


过 程 设计 


安全 管理 过 程 主要 关注 个 人 和 组 织 的 隐私 及 合 规 性 ， 可 以 通过 数据 安全 审计 、 医 名 和 审批 等 方法 和 手段 予以 保障 
组 织 设 计 。 大 数据 服务 业务 分 析 师 关注 大 数据 服务 对 于 业务 决策 环节 的 支持 ， 大 数据 服务 系统 架构 师 确 定 大 数据 服务 的 架构 
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3.1 大 数据 服务 战略 : 大 数据 决定 大 未 来 


数据 服务 战略 既是 企业 面向 外 部 市 场 竞争 的 需要 ， 又 是 企业 释放 自身 能 力 的 内 在 需求 ， 是 企业 
长 远 发 展 的 必然 选择 。 


人 类 社会 的 不 同 发 展 阶段 其 核心 资产 是 不 一 样 的 。 在 生产 工具 落后 的 农耕 时 代 ， 土 地 
是 社会 的 核心 资产 ， 战 争 大 多 因 疆 界 而 起 。 在 工业 时 代 ， 葵 汽机 的 出 现 大 大 提高 了 人 类 的 
生产 能 力 ， 而 石油 、 电 力 等 新 能 源 的 发 现 和 应 用 则 推动 了 工业 社会 的 高 速 发 展 ， 能 源 取代 
土地 成 为 社会 的 新 型 资产 ， 国 与 国之 间 的 战争 更 多 地 体现 为 争夺 “能 源 ” 的 战争 。 自 从 人 
类 发 明了 计算 机 和 互联 网 ， 人 类 进入 了 信息 社会 ， 信 息 几 乎 渗透 到 生产 生活 的 所 有 角落 ， 
而 随 着 信息 社会 的 不 断 发 展 ， 数 据 逐 渐 成 为 推动 人 类 社会 发 展 的 新 “能 源 ”。 

在 当代 ， 信 息 技术 的 作用 从 提高 企业 生产 经 营 效率 逐步 转变 为 企业 生产 经 营 的 主导 力 
量 ， 对 于 互联 网 企业 ， 信 息 系统 的 建设 水 平 则 成 为 企业 竞争 力 高 低 的 重要 标志 。 伴 随 着 互 
联网 的 发 展 ， 人 类 活动 的 场所 大 部 分 迁徙 到 虚拟 的 网 络 中 ， 通 过 手机 、 平 板 电脑 、 桌 面 电 
脑 等 接 入 设备 ， 在 网 络 上 获取 、 分 享 、 交 换 信 息 以 及 娱乐 、 购 物 等 。 

随 着 市 场 经 济 的 发 展 ， 竞 争 引 发 了 更 加 专业 化 的 社会 分 工 。 通 常 将 为 社会 提供 商品 和 
服务 的 组 织 称 为 企业 ， 购 买 并 使 用 商品 和 服务 的 个 人 或 组 织 称 为 消费 者 ， 而 将 构建 公平 、 
有 序 的 市 场 秩序 的 组 织 称 为 政府 监管 机 构 。 

随 着 信息 通信 技术 和 互联 网 在 全 社会 的 深入 应 用 ， 存 在 于 不 同 组 织 的 数据 越 来 越 多 ， 
越 来 越 丰富 : 银行 等 金融 机 构 存 储 了 客户 财产 有 关 的 数据 ， 比 如 存 贷款 记录 、 消 费 记 录 、 
账户 余额 等 ;政府 等 公共 事业 机 构 则 存储 了 民众 身份 、 税 务 缴纳 记录 、 交 通 违章 记录 等 ; 
电信 运营 商 存 储 了 客户 通话 记录 、 上 网 记录 、 短 消息 记录 等 ， 而 提供 各 种 服务 的 互联 网 公 
司 则 存储 了 客户 搜索 、 浏 览 、 评 论 等 记录 。 当 然 ， 在 用 户 的 使 用 终端 中 ， 无 论 是 桌面 终端 
还 是 移动 终端 ,同样 会 保存 个 人 的 使 用 行为 记录 。 可 见 ， 只 要 是 人 类 活动 借助 了 信息 技术 ， 
就 会 留 下 “痕迹 ”， 成 为 信息 社会 永远 的 “记忆 ”。 

那么 ， 企 业 为 什么 要 制定 大 数据 服务 战略 呢 ? 

首先 ， 数 据 是 社会 生产 生活 的 记录 ,蕴藏 了 个 人 和 组 织 过 往 的 “需要 ”通常 这 些 “ 需 
要 ”可 以 反映 个 人 和 组 织 的 “偏好 ”， 通 常 个 人 的 这 些 “ 偏 好 ”比较 稳定 ,企业 可 以 根据 这 
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些 “ 偏 好 ”， 看 人 下 菜 ， 预 测 需 求 ， 达 到 提高 产品 销售 能 力 的 目的 。 
其 次 ， 由 于 社会 专业 化 的 分 工 ， 数 据 分 散在 不 同 的 企业 之 中 ， 为 了 更 好 地 利用 数据 ， 
业 可 以 将 内 部 数据 进行 封装 ， 然 后 “走出 去 ” 通过 销售 企业 大 数据 资产 来 增加 收入 。 同 
， 企 业 也 需要 把 其 他 组 织 的 数据 “引进 来 ”， 通 过 聚合 不 同 的 数据 ， 形 成 关于 客户 、 供 应 
、 合 作 伙伴 、 产 品 、 渠 道 等 的 全 景 图 ， 通 过 对 这 些 管理 对 象 的 把 握 来 提升 竞争 能 力 。 

可 见 ， 大 数据 服务 战略 既是 企业 面向 外 部 市 场 竞争 的 需要 ， 又 是 企业 释放 自身 能 力 的 
内 在 需求 ， 是 企业 长 远 发 展 的 必然 选择 。 


马 


型 要 悄 


3.1.1 大 数据 服务 战略 新 思维 


大 数据 时 代 ， 数 据 成 为 企业 发 展 的 核心 资产 。 为 了 更 好 地 发 挥 数据 的 价值 和 作用 ， 企 
业 需 要 将 开发 和 实施 大 数据 服务 放 到 发 展 战略 的 高 度 ， 转 变 思维 方式 ， 立 足 长 远 和 全 局 ， 
将 数据 资产 与 企业 生产 和 运营 紧密 结合 起 来 。 

大 数据 服务 战略 新 思维 主要 包括 面向 服务 的 思维 方式 、 面 向 过 程 的 思维 方式 、 全 生命 
周期 的 思维 方式 以 及 数据 即 资产 的 思维 方式 。 

面向 服务 是 将 大 数据 以 服务 形式 进行 管理 ， 大 数据 服务 本 质 上 是 数据 资产 的 一 种 “能 
力 ” 这 种 “能 力 ” 既 能 够 与 企业 自身 的 生产 经 营 活动 相 结合 ， 也 可 以 嵌入 其 他 企业 的 生产 
经 营 活动 中 。 

面向 过 程 指 的 是 企业 在 进行 顶层 设计 或 者 规划 设计 时 ， 将 大 数据 服务 有 机 地 嵌入 企业 
业务 活动 之 中 ,不 要 孤立 地 看 待 大 数据 服务 , 要 通过 大 数据 服务 完成 企业 各 个 层次 的 决策 任务 。 

全 生命 周期 的 思维 方式 要 求 企业 从 数据 产生 、 集 成 、 迁 移 、 归 档 、 销 毁 的 全 生命 周期 
来 全 过 程 地 观察 , 观察 数据 在 生命 周期 每 个 阶段 发 挥 的 作用 , 主动 将 数据 转换 到 新 的 状态 ， 
优化 大 数据 基础 设施 资源 配置 ， 实 现成 本 效益 的 最 大 化 。 

数据 即 资产 的 思维 方式 是 将 数据 看 作 资 产 负债 表 中 的 新 的 资产 项 ， 原 因 是 数据 能 够 直 
接 帮 助 企业 提升 生产 和 经 营 能 力 并 降低 企业 风险 。 数 据 资产 同 机 器 设备 、 材 料 、 办 公用 品 
等 有 形 资产 一 样 支持 企业 的 生产 与 运营 ， 数 据 资产 相 比 知识 产权 、 专 利 、 品 牌 等 无 形 资产 
更 具有 现实 性 。 


1. 面向 服务 的 思维 方式 


“服务 ”在 生活 中 的 应 用 非常 广泛 。 员 工 为 企业 提供 的 劳动 是 一 种 服务 ， 企 业 回报 员 
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工 的 方式 就 是 工资 。 企 业 为 人 们 提供 工资 又 称 为 支付 服务 ， 可见 ,“ 服 务 ” 是 一 个 相对 的 概 
念 ， 不 能 够 孤立 存在 。 

软件 经 历 了 面向 过 程 、 面 向 对 象 、 面 向 组 件 、 面 向 服务 的 发 展 过 程 ， 最 终 ， 软 件 如 同 
人 们 日 常生 活 中 的 水 电 一 样 ， 成 为 一 种 服务 。 下 面 看 一 下 软件 从 面向 过 程 、 面 向 对 象 、 面 
向 组 件 、 面 向 服务 的 发 展 历程 。 
面向 过 程 阶段 :为 了 解决 软件 危机 ， 人 们 提出 了 不 同 的 软件 工程 方法 论 。 最 初 ， 计 算 
机 采用 汇编 等 低级 语言 进行 编程 ， 由 于 这 种 编程 方式 效率 低 ， 为 了 解决 这 一 问题 ， 人 们 提 
出 了 面向 过 程 的 编程 方法 ， 程 序 以 函数 形式 存在 ， 函 数 定义 中 包含 输入 和 输出 参数 ， 同 时 
也 有 函数 库 的 支持 。 面 向 过 程 阶段 的 典型 编程 语言 有 C、Pascal、FORTRAN 等 。 
面向 对 象 阶段 : 随 着 软件 项 目 规模 的 日 益 扩 大 , 支持 项 目的 软件 代码 规模 越 来 越 庞大 ， 
面向 过 程 的 语言 难以 满足 快速 应 对 需求 变化 的 要 求 。 为 了 解决 这 一 问题 ， 人 们 提出 了 面向 
对 象 的 编程 方法 。 面 向 对 象 即 采用 面向 现实 世界 对 象 的 思维 来 进行 需求 的 分 析 、 设 计 、 编 
码 和 测试 。 例 如 ， 现 实 世界 中 存在 学 生 张 三 、 李 四 、 王 五 等 ， 那 么 在 软件 设计 时 也 把 它 抽 
象 成 一 个 学 生 类 ， 这 个 抽象 的 类 可 以 实例 化 为 张 三 、 李 四 这 样 的 学 生 。 学 生 的 属性 包含 学 
生 名 称 、 所 在 年 级 、 归 属 班级 、 所 选课 程 等 ， 学 生 的 行为 包括 入 学 登记 、 选 课 、 考 试 等 行 
为 。 由 于 面向 对 象 的 方法 将 现实 世界 中 的 对 象 与 软件 中 的 对 象 对 应 起 来 ， 因 此 软件 的 可 读 
性 、 灵 活性 方面 都 有 了 很 大 提升 ， 软 件 不 再 是 那么 临 涩 难 懂 的 事情 ， 与 现实 世界 的 距离 更 
近 了 。 

面向 组 件 阶段 : 虽然 面向 对 象 的 分 析 与 设计 方法 解决 了 软件 可 读 性 和 可 维护 性 问题 ， 
但 是 软件 的 复 用 还 是 限制 在 程序 代码 一 级 ， 为 此 提出 了 面向 组 件 的 设计 方法 。 组 件 好 比 一 
个 机 器 零件 ， 由 于 组 件 是 一 个 独立 的 软件 部 件 ， 可 以 嵌入 外 部 环境 中 ， 通 过 接口 的 形式 与 
外 界 交互 ， 因 此 可 以 在 机 器 代码 层面 实现 软件 的 复 用 。 参 与 组 件 规范 制定 的 各 方 由 于 利益 
的 不 同 ， 逐 步 形成 了 以 微软 公司 主导 的 COM 组 件 模型 、Sun 公司 主导 的 EJB 组 件 模型 以 
及 对 象 管理 联盟 主导 的 CORBA 组 件 模型 。 

面向 服务 阶段 : 组件 虽 然 在 很 大 程度 上 解决 了 软件 的 复 用 性 问题 ， 但 是 组 件 仍然 是 基 
于 特定 操作 系统 平台 之 上 的 复 用 ， 软 件 组 件 能 力 难以 在 异 构 平台 之 间 调 用 ， 为 此 ， 人 们 提 
出 了 软件 服务 的 概念 ， 即 以 服务 形式 对 软件 进行 封装 并 对 外 提供 。 软 件 以 服务 形式 提供 与 
消费 ， 进 一 步 提 高 了 软件 的 复 用 性 。 
而 向 服务 的 架构 (SOA)， 将 工资 源 以 服务 的 形式 进行 封装 ， 使 得 无 论 是 企业 内 部 还 
是 组 织 之 间 ， 都 能 够 通过 IT 服务 进行 顺畅 的 衔接 。 借 助 SOA， 组 织 可 以 像 搭 积木 一 样 快 
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速 地 集成 来 自 组 织 内 外 的 各 种 服务 ， 快 速 形成 新 的 业务 ， 对 于 企业 ， 可 以 提升 快速 响应 市 
场 的 能 力 。 当 前 ， 信 息 系 统 的 所 有 层面 都 可 以 以 云 服务 的 形式 对 外 提供 ， 包 括 基础 设施 即 
服务 、 平 台 即 服务 、 软 件 即 服务 、 安 全 即 服务 、 桌 面 即 服务 、 网 络 即 服务 等 。 

从 面向 过 程 到 面向 服务 的 发 展 路 线 如 图 3-1-1 所 示 。 


“不 再 像 汇编 语言 那样 需要 掌握 | 面 向 对 象 阶 段 
机 器 指令 ， a 


“分 析 和 设计 成 果 尽量 与 现实 世 
界 保持 一 至 

“通过 封装 、 继 承 和 多 态 ， 增 强 
了 软件 的 可 该 性 、 复 用 性 和 灵 
活性 


“在 二 进 制 基础 上 实现 复 用 
“基于 组 件 规范 进行 构建 ， 增 加 
了 软件 的 复 用 性 
典型 代表 旺 COM、EJB、 
CORBA 


| 这 令 面向 组 件 阶段 


图 3-1-1 从 面向 过 程 到 面向 服务 ， 软 件 复 用 性 不 断 提升 


面向 服务 阶段 


* 在 应 用 级 实现 复 用 
“在 企业 私有 软件 基础 上 ， 按 昭 
服务 规范 进行 封装 ， 增 加 了 服 
务 注册 方 

“典型 代表 是 Web Service 


,通过 函数 库 解决 软件 复 用 问题 
“典型 代表 为 语言 


,典型 代表 是 C++、java 语 言 


在 大 数据 时 代 ， 同 样 需要 具备 面向 服务 的 思维 方式 。 作 为 以 提高 组 织 决策 能 力 的 大 数 
据 服务 ， 尽 管 并 非 所 有 大 数据 服务 都 像 事 务 型 应 用 那样 需要 快速 的 响应 能 力 ， 大 数据 服务 
的 响应 时 间 也 许 是 几 个 小 时 ， 甚 至 可 以 是 几 天 或 者 一 周 ， 但 是 随 着 人 们 对 大 数据 服务 认识 
的 逐步 深入 ， 许 多 大 数据 服务 可 以 通过 数据 模型 ， 逐 步 量 化 模型 参数 ， 使 得 大 数据 服务 的 
决策 结果 逐步 接近 “准确 ” 因此 ， 从 长 远 看 ， 企 业 仍 然 需 要 采用 面向 服务 的 思维 方式 ， 以 
各 种 大 数据 服务 的 形式 将 大 数据 的 能 力 固 定 下 来 。 


2. 面向 过 程 的 思维 方式 


企业 如 果 采 用 职能 型 管理 方式 ， 即 企业 按照 专业 化 分 工分 为 市 场 营销 、 销 售 、 服 务 、 
人 力 资 源 、 财 务 等 多 个 职能 ， 会 带 来 职能 部 门 之 间 的 沟通 协同 问题 ， 职 能 部 门 往往 会 从 自 
身 利 益 出 发 屏蔽 信息 、 争 夺 资 源 ， 这 样 的 管理 方式 大 大 降低 了 企业 的 整体 效率 。 

例如 ， 企 业 要 完成 市 场 营销 任务 ， 按 照 职 能 型 的 管理 方式 ， 市 场 营销 部 门 为 了 提升 企 
业 影 响 力 ， 往 往 会 在 市 场 营销 活动 中 做 出 超出 企业 能 力 的 承诺 ， 这 些 承 诺 会 给 工程 建设 部 
门 带 来 很 大 的 工期 压力 ， 为 了 赶 进度 企业 通常 会 以 降低 产品 和 服务 的 质量 为 代价 。 

为 了 解决 职能 型 管理 模式 存在 的 问题 和 不 足 ， 需 要 采用 面向 过 程 的 管理 方式 。 企 业 生 


| 14 


第 3 章 

孕育 : 凡事 预 则 立 ， 不 预 则 废 

产 、 运 营 和 管理 的 整体 活动 被 分 割 为 多 个 小 的 过 程 块 ， 这 些 过 程 块 之 间 协 同 配合 来 完成 企 
业 的 某 个 任务 。 

以 市 场 营销 部 和 工程 建设 部 为 例 ， 如 果 采 用 面向 过 程 的 方式 ， 市 场 营 销 部 在 执行 营销 
计划 之 前 ， 过 程 规 则 要 求 市 场 营销 部 与 工程 建设 部 一 起 完成 资源 的 核查 ， 并 为 客户 制定 基 
于 企业 资源 能 力 的 市 场 营销 计划 ， 这 样 就 不 会 存在 两 个 部 门 因 客户 需求 和 资源 供给 不 匹配 
而 引起 的 问题 。 

大 数据 服务 同样 需要 采用 面向 过 程 的 思维 方式 。 在 大 数据 服务 之 前 的 商业 智能 ， 通 常 
是 开 环 的 反馈 机 制 ， 数 据 分 析 的 结果 与 生产 过 程 是 分 开 的 。 采 用 大 数据 服务 后 ， 企 业 的 生 
产 过 程 与 大 数据 服务 采用 闭环 的 反馈 机 制 ， 无 论 这 种 反馈 是 由 信息 系统 完成 还 是 由 人 完成 的 。 

虽然 某 些 大 数据 服务 只 是 呈现 给 企业 决策 者 作为 参考 ， 并 不 嵌入 系统 的 生产 过 程 中 ， 
但 是 企业 管理 者 的 决策 参考 同样 也 是 企业 过 程 中 的 一 个 环节 (或 者 称 之 为 决策 点 ) 而 已 
只 不 过 这 个 环节 并 没有 由 信息 系统 执行 。 图 3-1-2 是 企业 借助 大 数据 服务 实现 决策 的 自动 
化 的 简单 例子 。 


图 3-1-2 企业 生产 过 程 中 的 自动 化 决策 方式 


在 企业 生产 经 营 过 程 中 ， 为 了 提高 生产 或 者 经 营 效 率 ， 可 以 采用 基于 大 数据 服务 的 自 
动 化 决策 方式 ， 一 个 或 者 若干 个 大 数据 服务 作为 决策 点 的 输入 ， 根 据 输出 结果 和 决策 规则 
来 确定 决策 结果 。 

然而 ， 在 许多 情况 下 ， 有 些 决 策 比 较 复杂 ， 还 不 能 由 信息 系统 取代 ， 需 要 决策 人 员 综 
合 多 种 因素 ， 借 助 头脑 风暴 等 多 种 方式 才能 做 出 决策 。 在 这 种 情况 下 ， 大 数据 服务 可 以 
作为 企业 决策 者 的 决策 输入 。 人 工 参与 决策 而 不 是 大 数据 服务 自动 化 做 出 决策 , 如 图 3-1-3 
所 示 。 

在 企业 的 生产 经 营 过 程 中 ， 人 工 参与 决策 的 案例 很 多 ， 尤 其 是 那些 战略 层次 的 决策 ， 
这 种 类 型 的 决策 更 多 地 依赖 于 决策 者 的 直觉 和 经 验 ， 而 影响 决策 的 信息 通常 无 法 通过 公开 
渠道 获取 。 此 外 ， 目 前 大 数据 分 析 系 统 对 于 非 结构 化 数据 的 处 理 能 力 有 限 ， 而 某 些 决策 更 
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多 地 依赖 于 文本 、 图 片 、 语 言 、 视 频 等 多 媒体 数据 ， 比 如 行业 分 析 报告 、 政 策 新 闻 、 谈 话 
录音 、 购 物 录 像 等 。 


图 3-1-3 企业 过 程 中 的 人 工 参 与 决策 方式 


3. 全 生命 周期 的 思维 方式 


宇宙 中 的 任何 事物 ， 都 具有 从 出 生 到 死亡 的 过 程 ， 大 到 银河 系 的 星球 ， 小 到 地 球 上 的 
微生物 ， 无 论 其 生命 长 得， 都 具有 从 出 现 到 消亡 的 过 程 。 

组 织 中 的 各 种 事物 同样 要 经 历 从 无 到 有 ， 从 有 到 无 的 发 展 过程 。 对 于 企业 而 言 ， 其 客 
户 要 经 历 考察 期 、 形 成 期 、 稳 定期 和 退化 期 四 个 阶段 ， 企业 的 产品 同样 会 经 过 投入 期 、 成 
长 期 、 成 熟 期 和 衰退 期 四 个 阶段 ， 企 业 的 设备 资源 会 经 过 采购 、 使 有 用、 磨损、 废弃 等 几 个 
阶段 ， 企 业 的 员工 会 经 过 招募 、 入 职 、 培 训 、 提 拔 、 解 约 等 几 个 阶段 ， 企业 的 信息 系统 会 
经 过 需求 分 析 、 架 构 设计 、 开 发 测试 、 上 线 运行 、 运 维 维护 、 下 线 退出 等 几 个 阶段 。 可 见 ， 
企业 的 管理 对 象 都 要 经 历 从 引入 到 退出 的 全 过 程 ， 将 这 一 过 程 称 为 生命 周期 。 

按照 生命 周期 的 思维 方式 进行 分 析 ， 可 以 避免 片面 地 、 静 止 地 、 孤 立地 看 待 问题 。 反 
之 ， 如 果 遵 循 全 生命 周期 的 思维 方式 ， 就 可 以 全 面 地 、 运 动 地 、 联 系 地 看 待 问题 。 

对 于 大 数据 ， 如 果 从 数据 的 产生 、 存 储 、 清 洗 、 转 换 、 丰 富 、 使 用 、 备 份 、 销 毁 的 全 
生命 周期 来 进行 分 析 ， 就 可 以 更 加 完整 地 看 到 数据 流动 的 过 程 ， 基 于 数据 的 价值 实现 数据 
的 管理 。 


4. 数据 即 资产 的 思维 方式 
传统 意义 上 的 资产 包括 机 器 设备 、 材 料 、 办 公用 品 等 ， 随 着 科学 技术 的 发 展 ， 专 利 、 
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知识 产权 、 企 业 品 牌 等 知识 资产 成 为 社会 的 新 型 资产 并 逐步 被 人 们 接受 。 对 于 企业 而 言 ， 
资产 成 为 企业 成 本 效益 核算 的 重要 基础 ， 企 业 可 以 通过 资产 负债 表 来 反映 生产 与 经 营 的 风 
险 水 平 。 

随 着 信息 技术 在 全 社会 的 迅速 应 用 ， 各 种 面向 操作 的 事务 型 应 用 产生 了 越 来 越 多 的 数 
据 ， 包 括 来 自 大 自然 的 环境 数据 、 来 自 企业 的 生产 经 营 数据 、 来 自 个 人 的 生活 数据 以 及 来 
自 政府 部 门 的 公共 管理 数据 。 当 面向 操作 的 事务 型 应 用 产生 的 数据 规模 很 小 的 时 候 ， 人 们 
通常 只 是 对 数据 进行 简单 的 查询 和 统计 ， 目 的 也 只 是 查找 和 定位 以 往 的 操作 记录 或 者 从 总 
体 上 查看 汇总 数据 。 

随 着 数据 规模 的 逐步 增 大 ， 人 们 可 以 从 大 量 的 数据 中 发 现 许 多 规律 性 的 东西 ， 就 好 比 
人 类 通过 日 积 月 累 ， 在 生产 生活 中 形成 的 经 验 和 教训 一 样 ， 生 活 阅历 越 丰富， 就 越 能 够 体 
会 到 一 些 规律 性 的 东西 。 在 数据 分 析 发 展 的 过 程 中 ， 出 现 了 像 OLAP、 数 据 挖掘 、 商 业 智 
能 等 研究 方向 ， 也 可 以 证 明 人 类 在 认识 数据 和 利用 数据 方面 不 断 地 尝试 和 努力 。 

当前 ， 随 着 传感器 技术 、 移 动 通信 技术 和 信息 技术 的 不 断 发 展 ， 物 联网 和 移动 互联 网 
逐步 应 用 到 公共 管理 、 交 通 、 医 疗 等 行业 之 中 。 物 联网 和 移动 互联 网 的 飞速 发 展 ， 必 将 产 
生 越 来 越 多 的 数据 ， 这 使 得 大 数据 成 为 人 类 社会 继 煤 炭 、 石 油 、 电 力 之 后 名 副 其 实 的 新 型 
能 源 。 同 时 ， 借 助 云 计算 ， 可 以 让 大 数据 完全 脱离 物理 资源 的 束缚 ， 使 得 用 户 如 同日 常生 
活 中 获取 水 、 电 、 气 资源 那样 便捷 地 获取 大 数据 服务 。 

数据 成 为 企业 新 型 资产 主要 还 是 取决 于 数据 在 企业 生产 经 营 中 的 价值 和 作用 。 当 前 ， 
经 济 的 全 球 化 、 一 体 化 趋势 日 益 增 强 ， 社 会 商品 更 加 丰富 ， 市 场 竞 争 更 加 激烈 ， 产 品 同 质 
化 趋势 越 来 越 明 显 ， 企 业 为 了 生存 和 发 展 ， 必 须 寻 找 新 的 突破 口 和 增长 点 ， 形 成 差异 化 竞 
争 优势 。 由 于 数据 来 源 于 个 人 和 组 织 的 活动 , 更 好 地 反映 过 去 用 户 对 于 产品 和 服务 的 诉求 ， 
因此 , 企业 可 以 以 解决 生产 和 经 营 中 的 问题 为 切入 点 , 聚合 社会 上 所 有 可 用 的 数据 ， 及 时 、 
准确 地 把 握 市 场 、 产 品 、 客 户 、 员 工 、 股 东 、 监 管 机 构 等 利益 相关 者 的 需求 ， 提 供 个 性 化 、 
差异 化 的 产品 和 服务 。 

可 见 ， 在 大 数据 时 代 ， 大 数据 的 作用 已 经 完全 可 以 与 机 器 设备 、 材 料 、 办 公用 品 等 有 
形 资产 相 媲 美 ， 与 知识 产权 、 专 利 、 品 牌 等 无 形 资产 相 比 ， 大 数据 资产 更 具有 现实 性 ， 企 
业 可 以 运用 大 数据 资产 直接 产生 成 本 效益 上 的 提升 ， 通 过 生产 经 营 能 力 上 的 提升 来 降低 生 
产 经 营 风 险 。 因 此 ， 在 物 联 网 、 移 动 互 联网 、 云 计算 带动 社会 发 展 进步 的 时 代 ， 企 业 和 个 
人 必须 认识 到 数据 资产 的 重要 作用 ， 形 成 数据 即 资产 的 思维 方式 。 
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3.1.2 大 数据 服务 战略 原则 


俗话 说 :“ 没 有 规矩 ， 不 成 方圆 ”， 大 数据 服务 同样 需要 指导 原则 。 

与 面向 操作 的 事务 型 应 用 不 同 ， 大 数据 服务 属于 分 析 型 应 用 ， 其 特点 更 多 地 体现 为 控 
索性 , 因而 大 数据 服务 的 风险 也 很 大 。 如 果 能 够 从 大 数据 中 找到 对 企业 决策 有 价值 的 信息 ， 
那么 大 数据 服务 的 回报 也 是 巨大 的 。 如 果 说 面向 事务 的 应 用 的 重点 在 于 如 何 提高 企业 生产 
和 经 营 的 效率 、 降 低 成 本 以 及 提升 客户 感知 ， 那 么 面向 决策 的 分 析 型 应 用 的 关键 则 是 减少 
失误 。 

面向 操作 的 事务 型 应 用 是 “正确 地 做 事 ” 而 面向 决策 的 分 析 型 应 用 是 “做 正确 的 事 ” 
这 就 是 两 者 在 企业 价值 创造 方面 的 不 同 之 处 。 


1. 价值 创造 原则 


决定 大 数据 服务 是 否 有 必要 的 前 提 条 件 是 大 数据 服务 能 够 为 组 织 创造 什么 价值 和 多 
少 价值 ， 因 此 价值 创造 是 大 数据 战略 的 首要 原则 。 

对 于 大 数据 服务 战略 ， 其 目的 是 提高 企业 利润 ， 包 括 提高 企业 收入 和 节约 成 本 支出 两 
个 方面 。 企 业 可 以 借助 大 数据 服务 来 精确 地 掌握 客户 的 需求 并 为 客户 提供 满足 其 需求 的 产 
品 和 服务 ， 通 过 提高 企业 的 销售 能 力 达 到 增加 企业 收入 的 目的 。 

一 方面 ， 企 业 也 可 以 借助 大 数据 服务 ， 提 升 客户 获取 企业 产品 或 者 服务 的 便捷 性 和 高 
效 性 ， 借 助 服务 水 平 的 提高 达到 提升 客户 感知 的 目的 。 客 户 对 于 企业 感受 好 了 ， 自 然 更 愿 
意 在 企业 购买 更 多 的 产品 和 服务 。 

男 一 方面 ， 企 业 也 可 以 借助 大 数据 服务 来 发 现 企业 业务 流程 中 存在 的 问题 ， 分 析 产 生 
这 些 问 题 的 原因 并 实施 流程 改进 ， 通 过 流程 的 改进 提升 企业 运营 效率 ， 这 样 可 以 间接 地 降 
低 企 业 的 成 本 支出 。 

大 数据 服务 可 以 为 企业 创造 价值 ， 无 论 是 直接 创造 还 是 间接 创造 。 但 是 大 数据 服务 设 
计时 同样 需要 考虑 大 数据 服务 与 企业 已 有 业务 过 程 的 集成 关系 ， 保 证 大 数据 服务 无 终 地 区 
入 现 有 业务 活动 中 。 同 时 ， 不 同 的 大 数据 服务 在 企业 中 的 地 位 和 作用 也 是 不 同 的 ， 应 当 分 
析 大 数据 服务 为 企业 带 来 的 价值 高 低 并 进行 优先 级 排序 ， 优 先 保障 那些 对 企业 价值 大 并 且 
具有 紧迫 要 求 的 大 数据 服务 。 
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2. 价值 网 络 原则 


任何 企业 都 属于 整个 社会 生产 中 的 一 个 环节 。 企 业 以 劳动 、 资 金 、 原 材料 、 知 识 等 为 
输入 ， 借 助 企业 的 采购 、 生 产 、 运 营 以 及 管理 活动 ， 完 成 价值 的 创造 ， 为 社会 提供 产品 或 
者 服务 ， 然 后 借助 渠道 将 产品 和 服务 传递 给 客户 。 这 种 从 资源 输入 、 价 值 创造 到 价值 交付 
的 过 程 ， 业 界 将 其 定义 为 “价值 链 ”。 由 著名 竞争 战略 专家 迈克 尔 ， 波 特 提出 的 价值 链 模 型 
如 图 3-1-4 所 示 。 


图 3-1-4 ” 波 特 的 价值 链 模 型 


从 图 3-1-4 可 以 看 出 ， 价 值 链 就 像 一 根 链条 ， 形 象 地 说 明了 企业 输入 、 处 理 、 输 出 的 
过 程 ， 随 着 近年 来 科学 技术 尤其 是 网 络 技术 的 迅猛 发 展 ， 社 会 专业 化 分 工 越 来 越 细 ， 企 业 
更 需要 与 多 个 参与 方 协同 ， 因 此 传统 单一 链条 的 价值 链 模 式 已 经 不 再 适用 于 现代 企业 ， 取 
而 代 之 的 是 新 型 的 价值 网 络 模式 。 由 客户 、 咨 询 师 、 设 计 师 、 服 务 提供 商 、 领 导 者 等 角色 
参与 的 价值 网 络 模型 如 图 3-1-5 所 示 。 

价值 网 络 时 代 更 加 强调 企业 之 间 的 协同 配合 ， 企 业 应 当 取长补短 ， 在 竞 合 中 找到 自己 
在 价值 网 络 中 的 位 置 ， 不 断 提升 企业 自身 的 核心 竞争 力 。 

面 对 企 业 从 价值 链 到 价值 网 络 模式 的 转变 ， 企 业 在 大 数据 服务 能 力 的 构建 和 服务 能 力 
的 开放 时 ， 需 要 善于 寻找 和 发 现 社会 中 已 有 的 大 数据 服务 ,主动 引入 外 部 有 价值 的 数据 源 ， 
不 断 丰 富 和 完善 数据 资产 。 同 时 ， 企 业 也 应 当 积极 将 企业 自身 的 数据 资源 以 大 数据 服务 的 
形式 开放 出 去 ， 最 大 限度 地 释放 大 数据 服务 的 潜力 ， 在 竞争 和 合作 中 取得 竞争 优势 。 
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图 3-1-5 简单 的 价值 网 络 模型 


3.1.3 ”大 数据 服务 战略 过 程 


大 数据 服务 战略 包括 市 场 定义 、 供 应 品 定义 、 战 略 资产 开发 、 战 略 执行 以 及 战略 评估 过 程 。 
大 数据 服务 战略 过 程 首先 是 定义 市 场 。 大 数据 服务 与 企业 向 客户 提供 的 产品 或 者 服务 
- 样 ， 都 能 为 客户 带 来 价值 ， 定 义 市 场 的 目的 是 找到 大 数据 服务 的 服务 对 象 。 大 数据 服务 
的 对 象 可 能 位 于 企业 外 部 ， 也 可 能 位 于 企业 内 部 。 如 果 大 数据 服务 的 对 象 在 企业 外 部 ， 则 
需要 明确 大 数据 服务 的 客户 群体 、 供 应 品 、 渠 道 、 价 格 等 。 例 如 ， 大 数据 服务 是 为 了 支持 
企业 完成 面向 某 客户 群 的 营销 ,那么 大 数据 服务 应 当 首先 从 全 部 客户 中 挑选 出 服务 的 子 集 ， 
向 这 些 群 体 推广 。 大 数据 服务 也 可 能 服务 于 企业 内 部 ， 帮 助 企 业 提升 战略 管理 能 力 和 运营 
效率 ， 此 时 应 当 明确 大 数据 服务 的 业务 驱动 力 、 适 用 场景 、 所 需 数据 源 、 关 键 实现 活动 等 。 
当 市 场 和 供应 品 定义 完成 后 ， 需 要 完成 战略 资产 的 开发 。 战 略 资产 主要 是 指 大 数据 服 
务 资产 ， 而 大 数据 服务 资产 是 企业 提取 、 转 换 、 控 制 、 交 付 的 一 种 能 力 。 与 服务 资产 相对 
的 是 客户 资产 ， 企 业 应 当 借助 大 数据 服务 提升 客户 资产 ， 将 服务 资产 和 客户 资产 紧密 地 结 
合 起 来 。 
当 大 数据 战略 资产 开发 完成 后 ， 需 要 在 企业 的 生产 和 运营 阶段 ， 完 成 战略 的 执行 。 当 
在 战略 执行 的 过 程 中 发 现 问题 后 , 需要 评估 大 数据 服务 执行 的 效果 。 如果 执 行 效果 不 满意 ， 
可 以 优化 和 完善 分 析 模 型 ， 调 整 模型 参数 ， 然 后 再 次 投入 到 企业 的 生产 与 运营 过 程 中 。 由 
于 大 数据 服务 是 一 个 探索 发 现 的 过 程 ， 企 业 需 要 不 断 调整 分 析 方法 和 手段 ， 优 化 和 完善 模 
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型 和 算法 ， 从 大 数据 中 找寻 和 发 现价 值 。 
3.1.4 ”大 数据 服务 战略 组 织 


大 数据 服务 是 企业 的 一 种 无 形 资产 ， 同 样 可 以 作为 产品 进行 销售 ， 将 给 予 大 数据 构建 
的 产品 称 为 大 数据 产品 。 

如 果 是 大 数据 服务 类 似 于 某 种 业务 ， 那 么 大 数据 产品 则 是 在 对 业务 进行 组 合 ， 增 加 销 
售 属性 后 形成 的 。 

大 数据 产品 的 形成 不 是 一 足 而 就 的 ， 与 其 他 虚拟 产品 〈 服 务 ) 一 样 ， 需 要 经 过 市 场 调 
研 、 产 品 定义 、 产 品 开发 、 产 品 销售 、 客 户 服务 、 产 品评 价 的 全 过 程 ， 而 大 数据 产品 经 理 
需要 关注 整个 过 程 。 

由 于 大 数据 产品 经 理 在 大 数据 运营 过 程 中 的 重要 作用 ， 企 业 应 当 在 大 数据 服务 战略 阶 
段 就 要 优先 考虑 大 数据 产品 经 理 的 权 责问 题 。 

大 数据 产品 经 理 的 任职 要 求 主要 包括 : 

(1) 能 够 发 现 大 数据 中 潜在 的 价值 。 企 业 可 以 要 求 大 数据 产品 经 理 具有 一 定 的 行业 背 
景 ， 比 如 通信 行业 的 大 数据 人 才 要 具备 3 年 以 上 的 通信 行业 从 业 背 景 ， 掌 握 信 息 通信 相关 
知识 。 

(2) 优先 考虑 具有 大 数据 分 析 和 挖掘 经 验 的 人 士 。 由 于 大 数据 更 多 地 依赖 不 断 地 探索 
尝试 后 才能 增强 对 于 大 数据 价值 的 认识 ， 因 此 具有 大 数据 分 析 和 挖掘 经 验 的 人 士 对 于 大 数 
据 的 潜在 价值 有 更 好 的 直觉 。 

(3) 具备 保护 组 织 商业 机 密 和 个 人 隐私 不 被 侵犯 的 知识 ， 掌 握 相关 法 律 法 规 。 由 于 数 
据 很 容易 复制 和 传播 ， 一 旦 泄露 ， 就 像 泌 出 去 的 水 ， 难 以 收回 ， 因 此 大 数据 产品 经 理应 当 
掌握 保护 个 人 和 组 织 隐私 的 方法 和 手段 。 

大 数据 产品 经 理 的 工作 职责 包括 : 

(1) 负责 大 数据 产品 的 市 场 调研 、 分 析 ， 并 完成 大 数据 产品 定义 ; 

(2) 负责 完成 大 数据 产品 的 成 本 效益 分 析 。 由 于 大 数据 产品 是 企业 的 一 种 虚拟 产品 ， 
在 资产 负债 表 中 以 无 形 资产 (软件 ) 的 形式 存在 ， 因 此 难以 估量 大 数据 产品 的 成 本 ; 

(3) 根据 大 数据 产品 的 推广 效果 和 使 用 反馈 ， 对 大 数据 产品 进行 调整 和 完善 。 由 于 大 
数据 产品 的 用 户 将 企业 提供 的 大 数据 服务 作为 一 种 数据 源 来 集成 和 分 析 ， 因 此 可 能 会 对 大 
数据 服务 提出 新 的 要 求 ， 比 如 在 现 有 大 数据 服务 的 基础 上 增加 新 的 数据 项 。 
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一 般 而 言 ， 企 业内 部 的 大 数据 服务 在 符合 法 律 规 范 的 条 件 下 ， 都 可 以 打包 成 大 数据 产 
品 对 外 销售 。 由 于 大 数据 通常 包括 客户 属性 和 客户 行为 记录 ， 很 可 能 会 涉及 企业 商业 秘密 
或 者 个 人 隐私 ， 因 此 大 数据 产品 经 理应 该 着 重 考虑 数据 的 安全 性 和 合 规 性 问题 。 


3.2 大 数据 服务 设计 方法 论 : 方法 比 努力 更 重要 


首先 分 析 大 数据 可 能 具备 的 能 力 ， 然 后 再 分 析 问 题 域 的 特点 ， 最 后 结合 大 数据 能 力 与 问题 域 特 
点 ， 形 成 大 数据 服务 需求 。 


面向 操作 的 事务 型 应 用 的 需求 由 业务 人 员 根据 企业 生产 和 经 营 需 要 提出 ， 而 大 数据 服 
务 的 需求 则 是 由 数据 分 析 人 员 在 探索 发 现 过 程 中 逐步 确定 的 。 前 者 具有 稳定 性 和 确定 性 ， 
而 后 者 则 具有 偶然 性 和 不 确定 性 ; 前 者 通过 满足 企业 生产 和 经 营 需 求 达到 降 本 增 效 的 目的 ， 
而 后 者 则 是 提升 组 织 的 决策 管理 能 力 。 

大 数据 服务 需求 分 析 以 组 织 大 数据 和 待 解决 的 管理 问题 为 输入 ， 输 出 大 数据 服务 的 需 
求 。 首 先 对 大 数据 能 力 进 行 评估 ， 分 析 大 数据 具备 的 能 力 ， 其 次 是 对 待 解决 的 问题 进行 分 
析 ， 找 出 问题 域 中 的 决策 点 ， 最 后 是 将 大 数据 能 力 与 待 解决 问题 进行 综合 分 析 ， 找 出 借助 
大 数据 解决 问题 的 思路 和 方法 。 


3.2.1 大 数据 服务 设计 原则 


面向 操作 的 事务 处 理 系统 的 设计 原则 主要 包括 可 靠 性 、 可 用 性 、 可 伸缩 性 、 高 性 能 以 
及 安全 性 5 个 方面 。 面 向 决策 的 分 析 处 理 系统 与 面向 操作 的 事务 处 理 系统 的 特点 不 同 ， 因 
此 设计 的 原则 也 存在 非常 大 的 差异 。 

在 系统 的 可 靠 性 方面 ， 为 了 满足 日 常 的 生产 经 营 需 要 ， 通 常 需 要 对 事务 处 理 系统 在 网 
络 、 计 算 、 应 用 和 数据 层面 进行 可 靠 性 设计 ， 比 如 网 络 双 路 由 、 服 务 器 集群 、 宛 余 磁 盘 阵 
列 (RAID)、 中 间 件 集群 、 数 据 库 集群 等 ， 原 理 是 通过 元 余 的 资源 换取 可 靠 性 。 对 于 面向 
决策 的 分 析 处 理 系统 而 言 ， 嵌 入 生产 流程 之 中 的 实时 性 大 数据 服务 和 本 身 就 是 一 种 事务 型 
应 用 《〈 这 就 是 ODS 存在 的 原因 )， 因 此 对 可 靠 性 的 要 求 与 面向 操作 的 事务 处 理 系统 一 样 ， 
但 是 分 析 处 理 系 统 对 于 可 靠 性 的 要 求 相对 要 低 一 些 ， 原 因 是 分 析 系 统 内 部 的 数据 本 来 就 是 
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历史 数据 ， 是 外 部 数据 源 的 “备份 ” 同时 分 析 系统 通常 是 “正确 性 ”大 于 “快速 性 ” 分 

析 时 长 可 以 以 分 钟 、 小 时 甚至 天 来 计 ， 对 于 实时 性 响应 的 要 求 不 高 ,要求 决策 信息 要 准确 ， 
要 能 够 发 现 规律 。 

此 外 ， 面 向 决策 的 分 析 处 理 系统 对 于 系统 的 可 用 性 要 求 也 没有 面向 操作 的 事务 处 理 系 
统 那么 高 基于 ODS 的 OLAP 应 用 例外 )。 在 可 伸缩 性 方面 ， 由 于 分 析 处 理 系统 的 数据 源 
可 能 会 源源 不 断 地 增加 历史 数据 ， 因 此 要 求 系统 要 有 良好 的 可 伸缩 性 和 扩展 性 ， 企 业 在 进 
行 大 数据 服务 架构 设计 时 ， 一 定 要 保证 基础 设施 资源 具有 良好 的 横向 扩展 性 。 

在 系统 性 能 方面 ， 对 于 即时 查询 这 样 的 应 用 ， 用 户 需 要 能 够 快速 提供 查询 结果 (比如 
5 秒 之 内 ); 对 于 统计 报表 这 样 的 应 用 ， 要 求 分 析 系 统 的 响应 性 能 越 快 越 好 ， 这 样 决策 者 就 
可 以 更 快 地 拿 到 统计 结果 ， 可 以 通过 构建 中 间 表 和 采用 内 存 数据 库 的 方式 实现 ， 对 于 像 数 
据 挖 掘 这 样 的 分 析 型 应 用 ， 其 特点 是 从 大 量 的 数据 中 找 出 数据 之 间 的 联系 ， 对 于 系统 性 能 
的 要 求 相 对 较 低 。 

在 安全 性 方面 ， 不 同 的 分 析 型 应 用 有 不 同 的 安全 级 别 要求 ， 需 要 区 别 对 待 ， 制 定 不 同 
的 安全 管理 制度 。 比 如 对 于 涉及 个 人 或 者 企业 隐私 的 大 数据 服务 ， 需 要 通过 采用 加 密 、 审 
批 等 手段 来 保证 数据 不 被 非法 获取 。 

除了 以 上 5 个 方面 ， 数 据 的 准确 性 和 完整 性 是 做 出 正确 的 决策 的 必要 条 件 ， 因 此 要 考 
虑 大 数据 质量 保证 问题 ， 由 于 数据 分 析 结 果 更 多 地 体现 为 统计 特征 ， 因 此 数据 质量 没有 事 
务 处 理 系统 要 求 那么 高 。 


3.2.2 ”大 数据 服务 需求 分 析 方 法 


软件 需求 是 成 果 交 付 的 依据 ， 也 是 系统 实现 的 前 提 。 大 数据 服务 的 特点 就 是 难于 事前 
提出 明确 的 需求 ， 而 是 在 模糊 需求 的 基础 上 逐步 确定 需求 的 。 

可 以 将 大 数据 服务 需求 分 析 的 方法 称 为 “距离 拉 近 法 ”， 就 是 将 企业 大 数据 可 能 具备 
的 能 力 与 要 解决 的 决策 问题 之 间 的 距离 逐步 拉 近 。 分 解 开 来 就 是 首先 分 析 大 数据 具备 的 能 
力 ， 然 后 分 析 待 解决 问题 的 特点 ， 最 后 通过 分 析 实 验 确定 大 数据 服务 的 需求 。 

企业 的 业务 活动 可 以 分 为 战略 、 战 术 、 操 作 三 个 层次 , 无 论 在 哪个 层次 都 有 决策 活动 ， 
随 着 企业 运用 大 数据 进行 决策 的 事情 越 来 越 多 ， 如 何 对 大 数据 服务 进行 有 效 管理 就 会 越 来 
越 重 要 。 企 业 业务 活动 分 为 “执行 ”和 “决策 ”两 类 ,“ 执 行 ”就 是 按照 预先 设 定 的 规则 完 
成 任务 ， 而 “决策 ” 则 是 解决 是 否 应 当 “ 执 行 ” 以 及 如 何 “执行 ”的 问题 。 


123 | 


大 数据 运营 
服务 型 企业 架构 新 思维 
大 数据 与 大 数据 服务 需求 之 间 的 关系 类 似 于 “ 鸡 生 蛋 、 蛋 生 鸡 ”这 样 的 问题 ， 其 实 谁 
先 谁 后 并 不 是 最 重要 的 。 为 了 解决 特定 问题 ， 有 的 情况 下 需要 分 析 有 没有 数据 可 以 解决 这 
一 问题 , 而 有 的 时 候 则 是 具备 了 数据 基础 , 然后 再 去 看 看 它 到 底 能 够 解决 企业 的 什么 问题 。 
大 数据 服务 需求 分 析 的 方法 如 图 3-2-1 所 示 。 


啡 (=) 上 — 


图 3-2-1 大 数据 服务 需求 分 析 方法 


从 图 3-2-1 可 以 看 出 ， 可 以 首先 分 析 大 数据 可 能 具备 的 能 力 ， 然 后 再 分 析 问 题 域 的 特 
点 ， 最 后 结合 大 数据 能 力 与 问题 域 特 点 ， 形 成 大 数据 服务 需求 。 

企业 通过 汇集 来 自 不 同 来 源 的 数据 ， 形 成 了 一 个 大 的 数据 资源 池 ， 这 时 就 有 了 形成 大 
数据 分 析 的 基础 ， 应 当初 步 查看 这 些 数据 具备 什么 能 力 。 以 企业 获取 的 电信 大 数据 为 例 ， 
通过 对 数据 项 的 分 析 ， 发 现 数据 包含 用 户 、 网 络 、 应 用 三 个 方面 的 信息 ， 也 就 具备 了 三 个 
方面 的 能 力 。 

企业 要 清楚 希望 借助 大 数据 解决 什么 问题 ， 比 如 借助 大 数据 提升 市 场 营销 能 力 ， 提 升 
网 络 规划 设计 能 力 或 者 提升 客户 服务 能 力 等 。 以 电信 大 数据 为 例 ， 电 信和 运营 商 希望 借助 大 
数据 提高 无 线 网 络 规划 能 力 ， 即 通过 运用 大 数据 ， 确 定 哪些 地 方 应 当 新 建 或 者 扩容 基站 ， 
新 建 或 者 扩容 多 大 规模 等 。 

有 了 对 大 数据 能 力 的 分 析 和 待 解决 问题 的 分 析 ， 将 两 者 相 结合 ， 就 可 以 形成 大 数据 服 
务 需 求 。 例 如 ， 通 过 对 电信 大 数据 能 力 的 分 析 ， 发 现 其 具备 用 户 、 网 络 以 及 应 用 三 个 方面 
的 能 力 ， 通 过 对 无 线 网 络 规划 设计 决策 需求 的 分 析 ， 发 现 无 线 网 络 规划 设计 的 关键 是 确定 
哪些 区 域 应 当 新 建 或 者 扩容 ， 新 建 或 者 扩容 的 规模 有 和 多大。 那么 ， 如 果 要 解决 无 线 网 络 规 
划 问 题 ， 可 以 从 时 间 、 区 域 、 网 络 类 型 等 维度 出 发 ， 结 合用 户 价值 和 应 用 价值 ， 确 定 那 些 
需求 量 大 但 无 线 网 络 资源 不 足 的 区 域 ， 根 据 需 求 和 现 有 资源 之 间 的 差 值 计算 新 建 或 者 扩容 
的 规模 。 


1. 大 数据 能 力 分 析 


大 数据 是 对 客户 世界 和 人 类 社会 属性 和 行为 的 记录 ， 由 多 种 数据 源 汇聚 而 成 的 大 数据 
意味 着 多 种 不 同 的 能 力 ， 可 以 帮助 企业 更 好 地 把 握 客户 偏好 ， 可 以 帮助 企业 更 好 地 完成 资 
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源 规划 ， 等 等 。 

对 大 数据 的 能 力 进行 分 析 是 确定 大 数据 服务 需求 的 第 一 步 。 如 果 抛 开 大 数据 可 以 解决 
的 问题 不 谈 ， 可 以 按照 下 面 的 方法 分 析 大 数据 具备 的 能 

企业 要 管理 的 对 象 包括 客户 、 产 品 、 渠 道 、 资 源 、 人 力 资 源 、 财 务 、 资 产 等 ， 对 于 任 
何 企 业 ， 应 当 在 有 限 资源 的 前 提 下 满足 客户 需求 ， 实 现 最 佳 的 成 本 效益 ， 因 此 对 于 大 数据 
的 能 力 分 析 ， 可 以 以 客户 用户)、 产 品 (商品 )、 渠 道 、 资 源 、 人 力 资源 、 财 务 、 资 产 等 
数据 为 抓 手 ， 对 数据 进行 整合 ， 达 到 从 多 个 角度 发 现 大 数据 能 力 的 目的 。 

比如 ， 企 业 取 得 了 来 自 电 信 运 营 商 、 银 行 、 电 子 商 务 公司 的 数据 ， 通 过 对 以 上 数据 进 
行 整合 ， 发 现 大 数据 具备 把 握 客 户 的 能 力 ， 具 体 包 括 客户 消费 能 力 、 客 户 购物 偏好 、 客 户 
通信 行为 等 。 企 业 收 集 的 数据 越 全 面 ， 越 能 够 准确 地 把 握 客户 。 

下 面 以 电信 大 数据 为 例 ， 分 析 电 信 大 数据 具备 的 能 力 。 电 信 大 数据 主要 包括 用 户 通话 
记录 和 用 户 上 网 记录 ， 通 过 对 电信 大 数据 的 分 析 ， 发 现 其 具备 客户 、 网 络 、 应 用 三 个 方面 
的 能 力 。 

从 客户 角度 看 ， 客 户 发 现 用户 使 用 的 终端 能 力 和 行为 特征 。 终 端 能 力 包括 是 否 可 以 上 
网 ， 是 否 支 持 4G 网 络 等 。 行 为 特征 包括 通话 时 间 、 上 网 时 间 、 通 话 时 长 、 上 网 时 长 、 使 
用 终端 、 使 用 的 网 络 、 访 问 的 应 用 、 访 问 地 等 。 

从 网 络 角度 看 ， 可 以 发 现 用 户 在 通信 网 络 的 访问 路 径 、 访 问 时 长 、 访 问 流量 、 源 人 P 
地 址 、 目 标 瑟 地 址 等 。 

从 应 用 的 角度 看 ， 可 以 发 现 访问 该 应 用 类 型 、 访 问 流 量 ， 根 据 应 用 类 型 ， 如 新 闻 、 音 
乐 、 视 频 、 电 子 商 务 等 进行 归 类 分 析 ， 根 据 流量 判断 该 应 用 的 活跃 度 和 价值 。 

可 见 ， 通 过 对 大 数据 的 分 析 ， 可 以 发 现 大 数据 具备 的 能 力 ， 这 为 解决 企业 决策 中 遇 到 
的 问题 做 好 了 准备 工作 。 


2. 问题 域 分 析 


通过 对 不 同 来 源 的 数据 进行 整合 后 ， 可 以 发 现 大 数据 具备 的 能 力 ， 这 为 人 们 利用 大 数 
据 解决 现实 问题 打下 了 基础 。 但 是 ， 如 果 不 能 识别 待 解决 问题 的 特点 ， 也 无 法 利用 大 数据 
解决 现实 问题 。 

问题 域 分 析 往 往 需 要 具备 待 解决 问题 域 的 专业 知识 ， 对 于 待 解决 问题 所 在 领域 的 专业 
知识 掌握 得 越 好 ， 越 有 助 于 快速 地 发 现 和 解决 存在 的 问题 。 

下 面 从 企业 战略 、 战 术 、 操 作 三 个 层面 ， 分 析 企 业 如 何 利 用 大 数据 解决 决策 问题 。 
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在 战略 层面 ， 大 数据 主要 支持 企业 的 高 层 管理 人 员 完 成 决策 ， 完 成 的 任务 包括 投资 战 
略 规划 、 市 场 战略 规划 、 人 才 战 略 规划 、 信 息 化 战略 规划 等 ， 大 数据 更 多 的 是 为 战略 规划 
提供 数据 参考 ， 比 如 企业 要 投资 ， 大 数据 可 以 给 出 投资 对 象 的 投资 风险 数据 、 企 业 财 务 风 
险 数据 等 。 

在 战术 层面 ， 大 数据 主要 是 支持 企业 的 中 层 管 理 人 员 完成 决策 ， 完 成 的 任务 包括 市 场 
营销 能 力 提升 、 产 品 销售 能 力 提升 、 客 户 服务 能 力 提升 、 客 户 体验 能 力 提升 、 运 营 成 本 节 
约 等 。 在 这 个 层次 ， 大 数据 主要 是 帮助 企业 中 层 管理 人 员 做 管理 决策 。 比 如 企业 产品 销售 
经 理 要 提高 产品 销售 能 力 ， 可 以 利用 大 数据 分 析 客户 的 属性 和 偏好 ， 然 后 为 客户 提供 所 需 
的 产品 和 服务 。 

在 操作 层面 ， 大 数据 主要 是 支持 企业 的 基础 人 员 完成 决策 。 当 企业 使 用 信息 系统 完成 
操作 层次 的 任务 时 ， 大 数据 也 可 以 嵌入 操作 流程 中 ， 辅 助 完成 决策 任务 。 比 如 ， 当 客户 通 
过 银行 的 网 上 银行 贷款 时 , 银行 可 以 利用 大 数据 预先 进行 信用 评估 , 确定 客户 的 贷款 额度 ， 
这 样 客户 就 可 以 在 没有 人 工 参 与 的 情况 下 完成 贷款 ， 提 升 了 客户 感知 ， 也 提高 了 银行 的 办 
事 效率 。 大 数据 在 企业 操作 层次 的 应 用 ， 其 实 就 是 用 机 器 智能 代替 人 脑 的 过 程 。 


3， 需求 分 析 


当 完 成 对 大 数据 能 力 和 问题 域 的 分 析 后 ， 就 可 以 发 现 问题 以 及 借助 大 数据 解决 问题 的 
方法 。 大 数据 服务 的 作用 就 是 能 够 为 解决 问题 提供 决策 支持 ， 因 此 大 数据 服务 的 需求 就 是 
借助 大 数据 解决 问题 的 方法 。 

电信 运营 商 具 有 移动 用 户 上 网 的 使 用 记录 ， 这 些 大 量 的 记录 就 是 通信 大 数据 ， 通 过 对 
来 自 CRM 系统 的 用 户 数据 、 来 自 网 络 运营 支 撑 系统 的 用 户 上 网 行为 数据 以 及 来 自 外 部 的 
辅助 数据 的 采集 与 整合 ， 就 可 以 形成 关于 用 户 价值 、 应 用 价值 、 用 户 网 络 访问 路 径 等 大 数 
据 能 力 。 

同时 ， 问 题 域 中 存在 的 核心 问题 是 如 何 提升 移动 用 户 上 网 速度 ， 其 特点 是 解决 移动 用 
户 因 跨 地 域 和 跨 电信 运营 商 网 络 而 引起 的 网 络 速度 下 降 问 题 ， 其 方法 就 是 借助 大 数据 发 现 
某 地 域 的 移动 用 户 访问 高 价值 应 用 是 否 存在 跨 地 域 和 跨 电信 运营 商 网 络 问题 ， 如 果 是 ， 则 
可 以 结合 大 数据 对 该 地 域 移动 用 户 平 均 价值 的 分 析 结 果 ， 决 定 是 否 需 要 新 增 CDN 节点 。 
高 价值 应 用 为 访问 流量 排名 靠 前 的 应 用 ， 移 动用 户 价值 的 判断 标准 可 以 人 为 设置 ， 比 如 以 
平均 ARPU 为 100 元 /月 为 标杆 ， 大 于 这 个 值 的 为 高 价值 应 用 。 

通过 以 上 分 析 可 以 看 出 ， 可 以 根据 大 数据 能 力 和 问题 域 分 析 确 定 大 数据 服务 需求 ， 然 


| 126 


第 3 章 
孕育 : 凡事 预 则 立 ， 不 预 则 废 


后 根据 大 数据 服务 需求 来 设计 和 开发 大 数据 服务 ， 最 后 借助 大 数据 服务 实现 决策 支持 。 
4. 需求 管理 


大 数据 服务 需求 是 大 数据 服务 设计 、 转 换 和 运营 的 输入 以 及 大 数据 服务 改进 的 基线 ， 
它 决 定 了 大 数据 服务 的 范围 ， 影 响 到 大 数据 服务 占用 的 成 本 、 资 源 、 时 间 等 ， 因 此 对 于 大 
数据 服务 需求 的 管理 非常 重要 。 

在 企业 的 生产 和 运营 阶段 ， 主 要 以 市 场 为 导向 ， 以 客户 为 中 心 ， 将 企业 生产 和 运营 的 
需求 作为 构建 信息 系统 的 输入 。 在 企业 决策 阶段 ， 即 大 数据 服务 阶段 ， 主 要 是 以 大 数据 作 
为 资源 输入 ， 构 建 满足 企业 生产 和 运营 决策 的 大 数据 服务 。 可 见 ， 数 据 的 形成 和 数据 的 使 
用 是 一 个 闭环 的 反馈 过 程 ， 达 到 “ 取 之 于 企业 ， 用 之 于 企业 ”的 目的 。 

随 着 数据 源 的 不 断 丰 富 ， 大 数据 服务 的 功能 越 来 越 强 ， 数 量 越 来 越 多 ， 因 此 只 有 通过 
对 大 数据 服务 需求 的 管理 ， 才 能 够 保证 大 数据 服务 之 间 不 会 产生 重 登 和 交叉 现象 。 由 于 大 
数据 服务 的 需求 就 是 企业 业务 活动 中 的 决策 需求 ， 因 此 对 大 数据 服务 的 需求 管理 可 以 采用 
分 层 分 类 的 方法 ， 与 企业 业务 过 程 框架 的 分 层 分 类 管理 方法 是 一 致 的 ， 这 样 可 以 避免 因 大 
数据 服务 需求 不 断 增 多 难以 管理 的 问题 。 

大 数据 服务 需求 管理 的 方法 为 : 基于 大 数据 ， 初 步 分 析 大 数据 可 能 会 形成 的 能 力 以 及 
可 能 解决 的 问题 ， 要 解决 的 问题 一 定 在 企业 业务 过 程 框 架 中 ， 因 此 要 在 企业 业务 过 程 框架 
中 找到 大 数据 服务 的 问题 。 以 移动 用 户 上 网 记录 大 数据 为 例 ， 通 过 初步 分 析 发 现 ， 移 动用 
户 上 网 记录 大 数据 可 以 解决 无 线 网 络 规划 问题 , 那么 就 可 以 将 这 个 大 数据 服务 放 到 SIP ( 战 
略 /基础 设施 /产品 管理 ) 域 ， 然 后 再 进入 SIP 域内 部 ， 发 现 该 大 数据 服务 属于 “基础 设施 
生命 周期 管理 ”过 程 组 和 “资源 开发 与 管理 ”过 程 组 的 交叉 部 分 ， 因 此 可 以 将 大 数据 服务 
先 放 到 这 个 位 置 ， 以 后 再 根据 对 大 数据 服务 更 加 深入 的 理解 ， 对 该 过 程 块 进 行 细 分 ， 使 得 
大 数据 服务 的 分 类 更 加 准确 。 

通过 将 大 数据 服务 放置 到 企业 业务 过 程 框架 之 中 ， 实 现 对 大 数据 服务 需求 的 有 效 管理 
以 及 大 数据 服务 的 能 力 共 享 。 大 数据 服务 与 企业 业务 活动 的 紧密 结合 ， 可 以 帮助 用 户 准 确 
定位 大 数据 服务 的 发 力 点 。 


3.2.3 ”大 数据 服务 开发 方法 


亚马逊 CTO Vogels 在 Cebit 上 发 表 的 主题 演讲 称 :“ 大 数据 不 仅仅 是 分 析 ， 它 是 关于 
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整个 流程 的 。 当 你 思考 大 数据 的 解决 方案 问题 时 ， 要 考虑 所 有 的 步骤 : 收集 、 存 储 、 组 织 、 
分 析 和 共享 。” 

可 见 ， 对 于 大 数据 来 说 ， 不 能 仅仅 关注 结果 ， 而 应 关注 整个 过 程 ， 需 要 认真 对 待 每 个 
过 程 环节 ， 以 便 最 大 限度 地 发 挥 大 数据 的 价值 。 

为 了 便于 分 析 ， 将 应 用 分 为 两 类 : 操作 型 应 用 和 分 析 型 应 用 。 操 作 型 应 用 用 于 支撑 企 
业 的 生产 和 运营 。 分 析 型 应 用 用 于 支撑 企业 在 战略 、 建 设 、 生 产 和 运营 过 程 中 的 决策 。 

从 需求 与 数据 的 关系 看 ， 操 作 型 应 用 是 先 有 需求 后 有 数据 的 ， 大 数据 服务 属于 分 析 
型 应 用 ， 其 特点 是 先 有 数据 后 有 需求 ， 因 此 两 种 不 同类 型 的 应 用 在 设计 方法 上 也 是 不 
同 的 。 

操作 型 应 用 的 主要 目标 是 支撑 企业 的 生产 与 运营 ， 提 高 企业 管理 能 力 ， 因 此 操作 型 应 
用 的 需求 是 业务 驱动 的 。 分 析 型 应 用 的 主要 目标 是 支撑 企业 战略 、 建 设 、 生 产 、 运 营 过 程 
中 的 决策 ， 是 决策 驱动 的 。 

尽管 操作 型 应 用 与 分 析 型 应 用 的 目标 有 很 大 的 不 同 ， 但 是 从 软件 工程 的 角度 看 ， 两 者 
也 是 具备 许多 共同 点 的 。 比 如 在 满足 需要 变化 方面 ， 操 作 型 应 用 主要 是 要 满足 业务 需求 的 
变化 ， 而 分 析 型 应 用 主要 是 要 满足 决策 需求 的 变化 ， 两 种 都 需要 通过 快速 迭代 来 适应 这 一 
变化 。 

大 数据 服务 的 特点 之 一 是 通过 “过 去 ”来 预测 “未 来 >， 通过 对 数据 的 不 断 整合 分 析 
和 挖掘 找 出 事物 之 间 的 联系 。 这 个 过 程 就 是 一 个 不 断 试 错 的 过 程 ， 通 过 不 断 地 调整 模型 和 
算法 ， 发 现 数据 背后 隐藏 的 规律 ， 为 决策 提供 更 丰富 、 更 全 面 的 参考 依据 。 

敏捷 开发 强调 沟通 、 反 馈 、 简 单 、 勇 气 和 谦逊 ， 属 于 小 步 快 跑 的 开发 模式 ， 这 种 方法 
可 以 快速 发 现 并 修正 错误 ， 降 低 了 软件 工程 风险 。 

大 数据 服务 能 够 满足 的 需求 主要 在 于 数据 源 是 否 丰 富 ， 大 数据 服务 的 能 力主 要 取决 于 
数据 质量 的 好 坏 。 如 果 在 现 有 数据 源 的 基础 上 增加 新 的 数据 源 ， 则 可 能 会 提高 决策 能 力 ， 
如 果 对 现 有 数据 源 继 续 进 行 清洗 ， 提 高 数据 质量 ， 那 么 大 数据 服务 的 决策 能 力 则 会 得 到 提升 。 

考虑 到 数据 规模 、 范 围 、 质 量 等 对 于 大 数据 服务 能 力 的 影响 以 及 大 数据 服务 主要 用 于 
决策 参考 ， 因 此 大 数据 服务 设计 更 适合 于 采用 敏捷 开发 方法 。 当 然 ， 敏 捷 开 发 并 不 代表 前 
期 规划 并 不 重要 ， 大 数据 服务 同样 需要 从 全 局 和 长 远 进行 考虑 ， 企 业 需 要 真正 把 大 数据 
当 作 核心 资产 来 管理 ， 根 据 探索 反馈 实现 设计 的 持续 改进 ， 最 终 达 到 为 企业 提供 决策 支持 的 
目标 。 
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3.3 大 数据 服务 架构 设计 : 在 平衡 中 实现 完美 


大 数据 服务 运营 框架 从 业务 角度 出 发 ， 体 现 业务 到 数据 的 互动 过 程 ， 大 数据 服务 应 用 框架 从 能 
力 角 度 出 发 ， 体 现 了 大 数据 的 管理 过 程 。 


大 数据 服务 的 实现 要 经 过 数据 采集 、 存 储 、 管 理 、 分 析 、 治 理 直 至 实现 各 种 应 用 的 周 

， 为 了 对 大 数据 服务 进行 有 效 管 理 ， 需 要 将 大 数据 服务 从 数据 获取 到 需求 实现 的 过 程 进 
行 细 分 ， 细 分 为 几 个 相互 区 别 又 相互 联系 的 子 部 分 ， 最 终 形成 大 数据 服务 的 框架 体系 。 

第 一 步 是 解决 数据 源 问题 。 数 据 源 是 大 数据 服务 形成 的 基础 ， 数 据 可 以 来 自 于 企业 内 
部 和 企业 外 部 ， 可 以 来 自 于 不 同 的 行业 ， 不 同形 式 的 媒体 、 不 同 的 地 理 位 置 以 及 采用 不 同 
的 时 间 段 。 

第 二 步 是 完成 不 同 来 源 数 据 的 收集 和 存储 。 在 这 个 阶段 ， 主 要 考虑 如 何 将 所 有 数据 源 
saw 要 保证 将 来 自 不 同 数据 源 的 数据 存放 到 不 同 数据 仓库 之 中 。 

三 步 是 根据 大 数据 服务 的 要 求 , 对 数据 进行 加 工 , 使 其 达到 满足 大 数据 分 析 的 目标 。 
ws wa 
加 工 完 善 是 一 个 持续 渐进 的 过 程 。 

第 四 步 是 面向 待 解决 的 问题 域 ， 基 于 大 数据 进行 数据 建 模 、 数 据 分 析 并 形成 不 同 的 主 
题 应 用 。 比 如 提升 收入 和 客户 体验 的 应 用 、 降 低 生产 与 运营 成 本 的 应 用 等 。 

此 外 ， 大 数据 服务 全 过 程 中 要 考虑 隐私 、 安 全 以 及 合 规 性 问题 ， 保 证 利用 大 数据 资产 
的 同时 ， 满 足 隐私 保护 、 法 律 规 范 等 社会 性 要 求 。 

大 数据 服务 管理 是 一 个 系统 化 工程 ， 为 了 对 其 进行 有 效 的 管理 ， 需 要 构建 一 个 系统 化 
的 框架 体系 。 
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3.3.1 大 数据 服务 运营 框架 设计 


通信 、 信 息 、 交 通 等 技术 和 工具 的 发 展 ， 加 速 了 全 球 化 进程 ， 全 球 产业 分 工 合作 已 是 
既定 事实 。《 世 界 是 平 的 》 做 了 形象 的 描述 :“ 在 印度 24/7 的 呼叫 中 心 ， 你 会 发 现 电 脑 操 作 
系统 是 微软 的 ， 蕊 片 是 英特尔 的 ， 电 话 是 朗讯 的 ， 空 调 是 凯利 的 ， 饮 用 水 是 可 口 可 乐 的 ， 
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甚至 公司 90% 的 股份 都 是 美国 投资 者 的 。” 

历史 发 展 进化 的 历程 说 明了 一 个 道理 : 适 者 生存 、 优 胜 劣 汰 。 为 了 适应 当前 的 市 场 环 
境 ， 满 足 客户 需要 ， 企 业 需 要 借助 先进 的 技术 工具 提高 竞争 力 。 

然而 ， 尽 管 业界 发 明 创造 了 许多 先进 的 方法 与 工具 ， 但 是 业务 与 技术 之 间 的 仍然 存在 
天 然 的 鸿沟 : 业务 人 员 侧 重 于 市 场 客户 ， 其 对 于 业务 的 理解 更 接近 于 现实 生活 ， 而 技术 人 
员 偏 重 于 逻辑 思维 ， 更 多 地 考虑 在 技术 框架 下 如 何 将 业务 需求 转化 为 技术 实现 。 

为 了 缩小 业务 与 技术 的 鸿沟 ， 笔 者 采用 业务 与 技术 分 离 的 架构 形式 ， 将 大 数据 运营 框 
架 分 为 活动 层 、 应 用 层 和 大 数据 层 ， 如 图 3-3-1 所 示 。 


战略 规划 | | 计划 建设 | | 市 场 经 营 革 [ 岂 人吉 避 和 


层 | 资源 运营 | 企业 管理 | … -EE 


十 管 丰 和 守信 首 系 合作 伙伴 风 Eh 7 和 


分 
析 


图 3-3-1 大 数据 运营 整体 框架 


从 图 3-3-1 可 以 看 出 ， 活 动 层 属于 业务 层面 ， 其 参与 方 主要 包括 市 场 、 客 服 等 面向 客 
户 的 角色 以 及 人 力 资源 、 财 务 、 资 产 等 面向 内 部 管理 的 角色 ， 活 动 层 的 主要 目标 是 完成 企 
业 的 战略 与 运营 活动 ， 而 大 数据 则 是 支持 战略 与 运营 活动 的 重要 工具 和 手段 。 

大 数据 层 属于 技术 层面 ， 其 参与 方 主要 包括 信息 系统 分 析 、 设 计 、 开 发 实施 等 相关 的 
角色 ， 大 数据 层 的 主要 目标 是 对 来 自 于 企业 内 部 和 外 部 的 信息 与 数据 进行 收集 、 加 工 、 存 
储 、 组 织 、 分 析 、 分 享 等 。 

应 用 层 介 于 活动 层 和 大 数据 层 之 间 ， 是 活动 层 和 大 数据 层 之 间 的 桥梁 和 纽带 。 从 活动 
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层 看 ， 应 用 层 体现 了 业务 人 员 和 管理 人 员 的 能 力 需求 ， 从 大 数据 层 看 ， 应 用 层 体现 了 技术 
人 员 需 要 向 业务 人 员 和 管理 人 员 交 付 的 IT 能 力 。 
在 现实 中 ， 活 动 层 是 企业 在 生产 经 营 过 程 中 所 做 的 事情 ， 业 务 活动 不 一 定 依靠 信息 系 
统 来 实现 ， 比 如 校园 现场 宣传 活动 。 应 用 层 是 抽象 的 IT 能 力 集合 ， 对 于 活动 层 其 承载 业务 
需求 ， 对 于 大 数据 层 ， 其 承载 数据 能 力 。 


3.3.2 ”大 数据 服务 应 用 框架 设计 
大 数据 服务 运营 框架 从 业务 角度 出 发 ， 完 成 整体 框架 设计 ， 体 现 业务 到 数据 的 互动 过 


程 。 大 数据 服务 应 用 框架 从 能 力 角度 出 发 ， 体 现 了 大 数据 的 管理 过 程 。 大 数据 服务 应 用 框 
架 分 为 数据 采集 、 数 据 存储 、 数 据 分 析 、 数 据 治 理 、 数 据 应 用 几 个 部 分 ， 如 图 3-3-2 所 示 。 


图 3-3-2 大 数据 服务 框架 体系 模型 


从 图 3-3-2 可 以 看 出 ， 大 数据 服务 应 用 框架 分 为 数据 源 、 数 据 采集 、 数 据 存 储 、 数 据 
管理 、 数 据 分 析 、 数 据 治理 几 个 部 分 ， 这 些 部 分 相互 配合 ， 形 成 各 种 不 同类 型 的 大 数据 分 


析 应 用 。 
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3.3.3 ”大 数据 服务 数据 源 


大 数据 记录 了 个 人 和 企业 在 社会 活动 中 的 行为 ， 而 这 些 行为 必然 存在 于 为 个 人 或 者 企 
业 提 供 服务 的 组 织 之 中 。 一 般 来 讲 ， 大 数据 服务 的 数据 源 是 越 多 越 好 ， 充 足 的 数据 能 够 保 
证 企业 决策 时 考虑 得 更 全 面 。 

随 着 社会 的 发 展 进步 ， 整 个 社会 被 分 为 提供 不 同 服务 的 企业 ， 比 如 提供 信息 通信 服务 
的 电信 运营 商 、 提 供 存 贷款 业务 的 银行 、 提 供 保险 服务 的 保险 公司 、 提 供 在 线 购物 服务 的 
电子 商务 公司 、 提 供 公共 交通 服务 的 公交 公司 、 提 供 供电 服务 的 电力 公司 、 提 供 公共 管理 
服务 的 政府 等 。 

人 们 在 生产 生活 中 ， 不 但 是 服务 的 使 用 方 同 时 也 是 服务 的 提供 方 ， 正 所 谓 “我 为 人 民 
服务 ， 人 民 为 我 服务 ”在 个 人 享受 社会 不 同 组 织 提供 的 服务 的 同时 ， 也 将 个 人 行为 记录 在 
信息 系统 之 中 。 

除了 个 人 信息 和 行为 会 记录 在 服务 提供 方 的 信息 系统 之 中 ， 也 会 将 企业 行为 记录 在 企 
业 自 身 的 信息 系统 之 中 或 者 与 企业 交互 的 组 织 的 信息 系统 之 中 ， 比 如 ， 企 业 纳税 记录 会 记 
录 在 税务 局 的 信息 系统 之 中 ， 企 业 的 采购 记录 会 作为 供应 商 的 销售 数据 记录 下 来 ， 企 业 与 
合作 伙伴 的 交互 记录 会 记录 在 合作 伙伴 的 信息 系统 之 中 ， 等 等 。 

可 见 ， 大 数据 服务 所 需 的 数据 源 存在 于 各 个 专业 化 组 织 之 中 ， 比 如 电信 、 交 通 、 电 力 、 
金融 、 政 府 、 互 联网 等 。 将 这 些 分 散在 不 同类 型 的 服务 提供 商 之 中 的 数据 进行 整合 ， 就 会 
形成 一 个 关于 个 人 或 者 企业 的 行为 全 景 图 ， 数 据 越 全 面 ， 全 景 图 就 越 完善 ， 大 数据 服务 也 
就 有 了 更 加 强大 的 数据 支持 。 


3.3.4 大 数据 服务 数据 采集 


数据 采集 过 程 包括 集成 、 导 入 、 格 式 化 。 

数据 采集 过 程 中 首先 集成 来 自 不 同 来 源 的 数据 。 数据 集成 要 考虑 存储 架构 、 采 集 方式 、 
接口 方式 、 采 集 周 期 等 。 

在 存储 架构 方面 ， 可 以 考虑 在 数据 源 侧 设置 数据 暂 存 区 (Staging Area)， 也 可 以 考虑 
在 采集 平台 侧 设置 暂 存 区 。 靠 根据 数据 量 和 累计 速度 来 设置 合理 大 小 的 数据 暂 存 区 ， 防 止 
数据 溢出 。 
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在 存 取 方式 方面 ， 可 以 根据 应 用 的 需要 采用 不 同 的 存 取 方式 。 采 和 集 方式 包括 单个 采集 
和 批量 采集 两 种 类 型 ， 对 于 数据 量 小 、 时 效 性 要 求 高 的 应 用 ， 可 以 采用 单个 采集 的 方式 ， 
当 数 据 形 成 后 可 以 立即 同步 到 数据 仓库 。 比 如 用 于 审计 的 操作 日 志 ， 可 以 采用 单个 采集 的 
方式 ， 当 操作 日 志 产 生 后 就 实时 地 同步 到 数据 仓库 。 对 于 文件 多 而 且 实 时 性 要 求 相对 较 低 的 
数据 , 可 以 等 文件 数 达到 一 定 规模 或 者 达到 一 定 的 时 间 周 期 后 ,批量 采集 或 者 推送 到 数据 仓库 。 
在 接口 方式 方面 ， 对 于 批量 采集 的 数据 ， 可 以 考虑 采用 FTP 方式 ， 对 于 单个 采集 的 数 
据 ， 可 以 采用 API 或 者 Web Services 接口 的 方式 。 
在 采集 周期 方面 , 通常 是 采集 周期 越 短 , 数据 的 实时 性 越 高 ,数据 分 析 的 结果 越 及 时 。 
企业 可 以 根据 应 用 的 需要 设置 不 同 的 采集 周期 ， 要 考虑 数据 暂 存 区 能 否 满足 要 求 。 
在 数据 导入 方面 ， 根 据 数 据 规模 大 小 分 为 三 种 导入 类 型 。 
第 一 种 是 数据 量 大 而 且 需 要 导入 数据 定义 的 场景 ， 比 如 数据 定义 包括 索引 、 分 区 等 ， 
可 以 考虑 采用 大 文件 导入 方式 ， 这 样 可 以 保证 数据 源 的 完整 性 。 
第 二 种 是 对 于 数据 源 结 构 简 单 、 导 入 文件 多 、 规 模 大 的 数据 ， 可 以 采用 批量 文件 导入 
的 方式 ， 这 样 可 以 看 到 导入 过 程 中 产生 的 错误 ， 并 及 时 纠正 ， 保 证 数据 导入 的 质量 。 
最 后 一 种 是 对 于 数据 量 小 的 单个 文件 ， 比 如 某 些 代码 表 、 配 置 文件 等 ， 可 以 通过 数据 
导入 工具 逐个 导入 ， 这 种 方式 比较 简单 灵活 。 
数据 采集 阶段 的 数据 规范 化 工作 非常 重要 ， 因 为 数据 分 析 必 须 基 于 一 个 统一 的 标准 ， 
而 多 种 数据 源 就 某 一 个 数据 通常 会 存在 形成 和 内 容 上 的 不 同 。 比 如 在 A 数据 源 中 ， 日 期 格 
式 以 “年 -月 -日 ”的 形式 存储 ， 而 B 数据 源 中 以 “月 -日 -年 ”的 形式 存储 ， 因 此 需要 将 这 
两 种 数据 源 中 的 格式 进行 统一 。 也 有 的 字段 存储 的 数据 类 型 不 一 样 ， 比 如 在 A 数据 源 中 ， 
年 龄 字段 以 字符 串 格式 存放 ， 而 也 数据 源 中 以 整 型 格式 存放 ， 需 要 将 两 个 字段 统一 为 一 种 
数据 类 型 。 还 有 的 数据 在 不 同 数据 源 中 存放 的 内 容 不 一 样 ， 但 是 表达 的 是 同一 个 意思 。 比 
如 A 数据 源 中 的 “性 别 ” 以 M 和 下 代表 “ 男 ” 和 “ 女 ” 而 B 数据 源 中 的 “性 别 ” 则 是 用 
1 代表 “ 男 ” 而 用 0 代表 “ 女 ” 因此 需要 实现 两 种 数据 源 “性 别 ” 在 语义 上 的 统一 。 
不 同 数据 源 在 同一 数据 上 存在 差异 的 原因 是 信息 系统 设计 时 并 没有 考虑 到 其 他 信息 
系统 或 者 不 同 的 应 用 提供 商 并 没有 遵循 共同 的 编码 规范 。 


3.3.5 ”大 数据 服务 存储 库 


大 数据 服务 的 数据 源 不 但 来 自 归属 于 不 同行 业 的 组 织 之 中 ， 而 且 其 类 型 还 具有 多 样 性 
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(Variety) 特征 。 

多 样 性 指 的 是 大 数据 服务 不 仅 包括 例如 姓名 、 年 龄 这 样 的 结构 化 数据 ， 还 包括 歌曲 、 
电影 这 样 的 非 结 构 化 数据 ， 此 外 网 页 、 邮 件 这 样 的 数据 介 于 结构 化 和 非 结构 化 之 间 ， 属 于 
半 结 构 化 数据 ， 也 是 大 数据 服务 的 重要 数据 源 。 

结构 化 数据 来 源 于 业务 需求 ， 系 统 分 析 员 将 需求 中 静态 的 “名 词 ” 提 取出 来 并 进行 抽 
象 ， 作 为 数据 库 表 结构 设计 的 依据 。 比 如 设计 一 个 学 籍 管理 系统 ， 通 过 分 析 发 现 “ 张 三 入 
“ 李 四 ” 等 学 生 具 有 姓名 、 年 龄 、 所 属 院 系 、 所 选课 程 、 课 程 分 数 等 属性 ， 于 是 系统 分 析 员 
将 这 些 属性 选取 出 来 并 设计 一 个 “学 生 ” 类 ， 那 么 “学 生 ” 表 结构 就 相当 于 一 个 模板 ， 可 
以 将 “ 张 三 ”“ 李 四” 等 学 生 的 姓名 、 年 龄 、 班 级 等 结构 化 数据 存储 到 数据 表 中 。 由 于 数 
据 表 是 二 维 的， 借助 关系 型 数据 库 的 SQL， 可 以 从 多 个 维度 对 结构 化 数据 进行 查询 统计 。 

与 结构 化 数据 相对 的 是 非 结构 化 数据 。 顾 名 思 义 ， 非 结构 化 数据 是 不 可 以 提取 字段 并 
定义 属性 的 ， 只 能 以 图 片 、 语 音 、 视 频 的 媒体 形式 存在 。 虽 然 非 结构 化 数据 不 像 结 构 化 数 
据 那 样 能 够 进行 统计 分 析 ， 但 是 并 不 代表 非 结 构 化 数据 没有 价值 。 非 结构 化 数据 可 以 以 多 
媒体 的 形式 存在 ， 生 动 形象 地 反馈 信息 ， 因 此 可 以 从 非 结构 化 数据 中 采集 有 价值 的 信息 ， 
并 将 这 些 采 集 的 信息 转化 为 结构 化 数据 ， 通 过 对 非 结构 化 数据 的 “理解 ”来 发 现 其 中 隐藏 
的 价值 。 

介 于 结构 化 数据 和 非 结构 化 数据 之 间 的 是 半 结 构 化 数据 。 半 结构 化 数据 的 结构 和 内 容 
混合 在 一 起 ， 例 如 电子 邮件 、 网 页 等 。 从 半 结 构 化 数据 中 同样 可 以 抽取 出 许多 有 价值 的 数 
据 ， 比 如 电子 邮件 中 可 以 采集 到 发 件 人 、 收 件 人 、 标 题 等 ， 通 过 对 邮件 的 收发 地 址 、 频 率 、 
主题 等 进行 分 析 ， 可 以 形成 以 电子 邮件 为 通信 媒介 的 社交 网 络 。 

企业 可 以 根据 应 用 的 要 求 、 数 据 的 规模 、 数 据 的 类 型 等 维度 进行 分 析 和 设计 ， 选 择 不 
同 的 存储 架构 。 

对 于 数据 规模 大 、 数 据 结构 简单 、 对 查询 效率 要 求 高 的 应 用 ， 可 以 采用 Hadoop/HBase 
这 样 的 分 布 式 存储 架构 。 由 于 Hadoop/HBase 存储 架构 采用 键 值 存储 结构 ， 具 有 良好 的 可 
扩展 性 ， 因 此 可 以 通过 增加 基础 设施 资源 来 提高 查询 效率 ， 系 统 整体 性 能 随 着 集群 规模 的 
增 大 而 线性 增长 。 

对 于 需要 关联 多 个 数据 模型 才能 实现 的 分 析 型 应 用 ， 则 可 以 考虑 采用 关系 型 数据 库 作 
为 存储 库 。 对 于 以 邮件 、 文 档 、 录 音 、 录 像 等 文件 形式 存在 的 非 结 构 化 数据 ， 可 以 采用 网 
络 连 接 式 存储 (Network Attached Storage，NAS) 架构 ， 对 于 存 取 频率 高 、 单 次 存 取 数据 
量 小 的 结构 化 数据 ， 具 有 明确 数据 类 型 和 数据 长 度 ， 可 以 考虑 采用 存储 区 域 网 络 (Storage 
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Area Network，SAN) 存储 架构 。 对 于 以 文件 为 存 取 单位 的 非 结构 化 数据 ， 则 适合 采用 网 
络 连接 式 存储 (Network Attached Storage，NAS) 存储 架构 。 通 常情 况 下 ， 存 储 架 构 采 用 
SAN 和 NAS 混合 的 形式 。 

SAN 和 NAS 属于 “主机 + 磁盘 阵列 ”的 系统 架构 ， 在 大 数据 时 代 ， 随 着 数据 量 的 不 断 
增加 ， 企 业 越 来 越 采 用 “单机 + 硬盘 ”组 成 的 系统 架构 。 这 种 架构 适合 于 需要 批量 数据 处 
理 的 分 析 型 应 用 ， 并 且 对 单个 应 用 设备 的 能 力 要 求 不 高 ， 可 以 有 效 地 利用 旧 低 端 设备 ， 快 
速 地 实现 横向 资源 扩展 。 


3.3.6 ”大 数据 服务 数据 管理 


数据 管理 过 程 主要 包括 数据 转换 、 数 据 关 联 、 数 据 丰 富 、 数 据 操作 以 及 数据 保持 。 

数据 转换 就 是 将 数据 从 一 种 形式 变换 为 男 一 种 形式 ， 通 过 形式 的 变化 ， 使 得 数据 更 便 
于 分 析 利 用 。 比 如 在 数据 采集 阶段 导入 的 原始 数据 ,需要 将 其 从 字符 串 类 型 转换 为 浮 点 型 ， 
这 样 可 便于 对 该 数据 项 进行 求 和 。 另 外 ， 也 可 能 因为 数据 格式 问题 进行 数据 转换 ， 比 如 原 
始 数据 为 网 页 这 样 的 半 结 构 化 数据 ， 为 了 能 够 搜索 到 网 页 中 的 数据 ， 往 往 需要 将 网 页 中 的 
关键 数据 提取 出 来 并 做 成 标签 ， 再 把 标签 作为 检索 项 ， 这 样 检索 时 就 没有 必要 检索 整个 网 
页 了 ， 通 过 这 样 达到 提高 检索 效率 的 目的 。 

数据 关联 是 按照 需要 ， 借 助 关联 属性 将 多 个 分 散 的 数据 源 关 联 在 一 起 ， 就 像 用 一 根 强 
子 将 多 个 数据 串 接 起 来 一 样 ， 目 的 是 方便 定位 所 需 数据 ， 同 时 便于 从 多 个 维度 进行 数据 统 
计 。 比 如 ， 身 份 证 号 码 、 手 机 号 码 、 终 端 设备 号 、 网 络 编码 等 可 以 作为 数据 关联 的 外 键 ， 
也 可 以 根据 分 析 需 要 构建 多 个 数据 表 ， 以 实现 数据 的 关联 。 

范式 原则 可 以 提高 操作 型 数据 模型 对 业务 需求 响应 的 灵活 性 ， 减 少数 据 见 余 ， 分 析 型 
数据 模型 则 希望 通过 数据 关联 形成 面向 多 个 主题 的 数据 模型 ， 面 向 主题 的 数据 模型 更 加 接 
近 于 用 户 需求 ， 便 于 多 维度 地 分 析 和 展现 数据 。 

数据 丰富 也 是 为 了 满足 业务 需求 而 对 数据 进行 的 完善 ， 比 如 有 一 个 学 生 ， 如 果 只 知道 
她 的 姓名 、 性 别 信息 ， 不 知道 她 的 生日 信息 ， 就 不 能 知道 这 个 学 生 的 年 龄 。 再 比如 知道 承 
载 某 个 应 用 的 他 地 址 及 其 产生 的 数据 流量 ， 如 果 再 知道 这 个 瑟 地 址 对 应 的 URL， 就 可 以 
知道 这 个 URL 对 应 的 数据 流量 。 

数据 操作 就 是 操作 数据 ， 包 括 数据 联合 、 去 重 、 排 序 、 过 滤 、 分 组 等 ， 通 过 数据 操作 ， 
实现 数据 的 关联 与 组 合 ， 便 于 从 不 同 视角 对 数据 进行 查看 和 统计 。 
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数据 保持 要 考虑 数据 的 存储 策略 ， 包 括 分 散 存储 还 是 集中 存储 ， 采 用 原始 表 存 储 还 是 
中 间 表 存储 ， 基 于 内 存 存储 还 是 外 存 存储 ， 存 储 周期 多 长 ， 按 月 存储 还 是 按 年 存储 等 。 

数据 保持 对 于 大 数据 存储 管理 非常 重要 ， 制 定数 据 保持 策略 的 参数 包括 数据 价值 高 
低 、 数 据 活 跃 度 、 存 储 策略 、 法 规 要 求 等 。 企 业 可 以 根据 需要 定义 数据 的 价值 ， 比 如 客户 
的 身份 证 号 码 、 出 生年 月 、 家 庭 关 系 、 教 育 经 历 、 偏 好 等 数据 的 价值 比较 高 并 且 这 些 属性 
比较 稳定 ， 而 对 于 客户 购买 历史 、 支 付 历史 等 数据 则 相对 要 低 一 些 ， 因 此 难以 作为 预测 未 
来 的 数据 基础 。 

数据 活跃 度 也 是 数据 保持 的 一 个 重要 指标 ， 通 常 来 说 ， 数 据 存 取 频 率 高 的 数据 的 价值 
要 高 ， 如 果 数 据 超出 一 定 的 时 间 〈 比 如 一 年 ) 没有 被 存 取 ， 可 以 考虑 将 其 转移 到 低 价值 的 
存储 空间 ， 以 便 提高 数据 的 存 取 效 率 。 

企业 可 以 根据 数据 的 特点 和 用 途 ， 对 数据 的 生命 周期 进行 定义 ， 比 如 电信 运营 商 超过 
一 年 的 账单 数据 可 以 存放 到 二 级 磁盘 阵列 ， 通 常 将 面向 客户 查询 的 详 单数 据 存 储 在 一 级 磁 
盘 阵 列 。 

当然 ， 有 些 存 储 策略 并 不 是 企业 根据 生产 经 营 需要 制定 的 ， 而 是 基于 国家 法 律 法 规 的 
要 求 制定 的 ， 比 如 ， 政 府 要 求 银行 对 储户 的 交易 数据 至 少 保留 6 年 ， 要 求 电信 运营 商 对 用 
户 的 通话 记录 至 少 保留 3 年 ， 等 等 。 

数据 的 存储 周期 越 长 ， 用 于 数据 分 析 的 样本 数据 就 越 多 ， 越 容易 从 长 期 的 数据 变化 中 
发 现 规律 。 企 业 需 要 综合 考虑 数据 分 析 的 实际 需求 、 数 据 存储 成 本 、 数 据 管理 成 本 等 因素 ， 
实现 企业 成 本 效益 的 最 大 化 。 


3.3.7 大 数据 分 析 


数据 分 析 过 程 包括 数据 建 模 、 大 数据 处 理 、 告 警 与 触发 、 报 告 等 。 

从 数据 处 理 的 实时 性 要 求 角度 看 ， 大 数据 分 析 可 以 分 为 批量 和 流 式 两 种 数据 处 理 方 
式 。 批 量 处 理 主要 适合 于 实时 性 要 求 不 高 的 分 析 型 应 用 ， 而 流 式 处 理 主要 适用 于 实时 性 要 
求 高 的 在 线 分 析 应 用 。 

批量 处 理 方式 主要 适用 于 大 规模 离线 数据 的 分 析 处 理 ， 比 如 企业 周期 性 统计 报表 ， 可 
以 采样 批量 处 理 方式 。 对 企业 大 规模 历史 生产 经 营 数据 进行 批量 处 理 ， 分 析 结 果 可 以 用 于 
制定 企业 发 展 战略 ， 对 于 分 析 结 果 的 实时 性 要 求 不 高 。 

流 式 处 理 方式 有 许多 应 用 场景 ， 比 如 客户 浏览 网 页 时 ， 企 业 可 以 实施 实时 的 产品 推介 
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或 者 广告 投放 ， 当 客户 使 用 手机 访问 应 用 时 ， 可 以 根据 客户 的 位 置 和 访问 的 应 用 ， 向 客户 

推送 附近 商家 最 新 的 促销 信息 。 社 会 关注 热点 分 析 也 是 流 式 处 理 的 一 种 典型 应 用 ， 可 以 基 
于 搜索 大 数据 ， 实 时 展示 社会 关注 热点 。 

价值 创造 是 大 数据 分 析 的 目标 ， 数 据 建 模 、 大 数据 处 理 、 策 略 执行 以 及 分 析 结 果 展 示 

过 程 ， 对 体现 大 数据 的 价值 都 有 非常 重要 的 作用 。 在 大 数据 处 理 阶段 ， 采 用 批量 处 理 还 是 

流 式 处 理 方式 ， 取 决 于 应 用 的 要 求 。 


3.3.8 大 数据 治 


数据 治理 包括 隐私 、 安 全 、 合 规 性 三 个 方面 。 

大 数据 价值 创造 的 前 提 和 基础 是 企业 自身 的 数据 以 及 全 社会 开放 的 数据 ， 当 数据 开放 
为 社会 带 来 好 处 的 同时 ， 也 同时 引起 了 隐私 侵犯 问题 。 隐 私 是 社会 赋予 个 人 或 者 企业 的 权 
利 ， 隐 私 权 受到 法 律 的 保护 ， 因 此 ， 企 业 在 利用 大 数据 的 同时 ， 要 首先 考虑 大 数据 应 用 是 
否 会 侵犯 他 人 或 者 组 织 的 隐私 。 

企业 可 以 多 种 方式 来 解决 隐私 触犯 问题 。 

对 于 企业 向 内 部 人 员 提 供 的 大 数据 服务 ， 可 以 通过 数据 权限 保证 隐私 数据 不 被 非法 获 
取 ， 如 果 企 业内 部 用 户 具有 获取 隐私 数据 的 权限 ， 要 进行 数据 使 用 行为 的 记录 和 跟踪 。 例 
如 ， 电 信 运 营 商 拥 有 公众 客户 电话 号 码 、 银 行 卡号 、 家 庭 住址 等 隐私 数据 ， 可 以 采用 授权 
的 方式 控制 数据 使 用 对 象 和 数据 使 用 范围 ， 系 统 应 当 能 够 自动 记录 数据 操作 行为 ， 实 时 进 
行 数据 使 用 行为 审计 ， 发 现 可 疑 数 据 使 用 行为 后 ， 计 算 采 取 措施 ， 关 闭 或 者 暂停 用 户 的 数 
据 访 问 权限 。 

企业 对 外 提供 大 数据 服务 具有 更 大 的 风险 ， 就 如 同 履 水 难 收 ， 因 此 ， 企 业 需 要 考虑 更 
好 的 隐私 保护 方式 。 以 电信 运营 商 为 例 ， 用 户 的 姓名 和 电话 号 码 是 不 能 泄露 的 ， 如 果 这 些 
数据 被 营销 机 构 所 掌控 ， 用 户 可 能 会 经 常 接 到 骚扰 电话 或 者 短信 ， 电 信和 运营 商 可 以 为 外 部 
企业 提供 电话 号 码 的 伪 码 数据 ， 企 业 如 果 想 与 电信 运营 商 提供 的 名 单 客户 沟通 ， 还 需要 借 
助 电信 运营 商 提供 的 伪 码 翻译 服务 ， 这 样 就 解决 了 客户 真实 的 电话 号 码 外 泄 问题 。 

企业 大 数据 治理 的 另 一 个 难点 是 数据 安全 问题 。 应 用 分 为 事务 型 和 分 析 型 两 种 ， 大 数 
据 服务 属于 分 析 型 应 用 ， 相 对 于 事务 型 应 用 ， 大 数据 服务 安全 治理 具有 自身 的 特点 。 

可 以 将 安全 控制 分 为 应 用 和 网 络 传输 两 个 层面 。 应 用 层 安 全 控制 包括 用 户 安全 管理 和 
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信息 安全 管理 ， 用 户 安 全 管理 的 目标 是 让 系统 设 定 的 用 户 访问 应 用 ， 并 对 认证 用 户 进行 授 
权 ， 保 证 用 户 访问 所 需 的 资源 。 信 息 安 全 管理 的 目标 是 保证 信息 不 被 非法 获取 ， 通 常 采用 
对 信息 加 密 的 方式 实现 。 在 网 络 传输 层 实施 安全 控制 的 目标 是 控制 进入 网 络 的 通道 ， 通 过 
安全 控制 策略 来 阻止 或 者 进行 网 络 访问 。 

事务 型 应 用 是 创造 数据 的 源头 ， 产 生 的 数据 可 以 分 为 基础 数据 和 交易 数据 两 类 。 交 易 
数据 是 在 每 个 事务 处 理 之 后 产生 的 ， 比 如 网 页 浏览 记录 、 订 单数 据 。 与 交易 数据 相 比 ， 基 
础 数据 的 内 容 变化 频 度 要 低 ， 比 如 客户 的 姓名 、 年 龄 、 身 份 证 号 等 数据 ， 相 比 于 订单 数据 ， 
其 生命 周期 要 长 ， 数 据 的 安全 性 要 求 更 高 。 许 多 企业 的 事务 型 应 用 暴露 到 互联 网 ， 因 此 网 
络 安全 风险 高 。 

分 析 型 应 用 的 数据 基础 是 事务 型 应 用 产生 的 数据 ， 通 常 要 经 过 采集 、 转 换 、 装 载 、 分 
析 、 展 示 或 者 对 外 提供 的 过 程 。 根 据 大 数据 服务 用 途 的 不 同 ， 可 以 分 为 企业 内 部 使 用 和 对 
外 提供 两 种 类 型 。 相 比 于 对 外 提供 的 大 数据 服务 ， 在 企业 内 部 范围 使 用 的 大 数据 服务 风险 
要 低 得 多 。 如 果 从 数据 的 规模 来 看 待 数 据 风 险 ， 分 析 型 应 用 比 事务 型 应 用 依赖 的 数据 规模 
要 大 得 多 ， 因 此 ， 一 旦 出 现 数据 泄露 ， 分 析 型 风险 要 大 得 多 。 

从 系统 架构 的 角度 看 操作 型 数据 和 分 析 型 数据 ， 操 作 型 数据 通常 以 “主机 + 磁盘 阵列 ” 
的 集群 方式 存放 在 磁盘 阵列 中 ， 而 分 析 型 数据 则 通常 以 “主机 + 磁盘 ”的 集群 方式 分 散 存 
放 数 据 仓库 的 磁盘 上 , 由 于 采用 批量 处 理 方式 , 集群 内 部 主机 之 间 往 往 没有 实施 安全 控制 ， 
同时 ， 由 于 数据 规模 大 ， 为 了 提高 数据 处 理 效率 ， 一 般 不 会 对 数据 进行 加 密 。 

企业 需要 根据 事务 型 应 用 和 分 析 型 应 用 的 不 同 特点 制定 不 同 的 数据 安全 管理 机 制 。 


3.3.9 大 数据 服务 应 用 


对 于 企业 来 说 ， 大 数据 服务 的 目标 可 以 归结 为 “ 降 本 增 效 ”4 个 字 。 企 业 可 以 借助 大 
数据 服务 做 精准 化 营销 ， 将 企业 的 产品 有 效 地 传递 给 有 此 需求 的 用 户 ， 在 为 客户 创造 价值 
的 同时 增加 企业 收入 。 

企业 也 可 以 借助 大 数据 服务 掌握 客户 偏好 ， 更 好 地 为 客户 提供 服务 ， 提 升 客户 感知 水 
平 ， 虽 然 提升 客户 服务 体验 并 没有 直接 为 企业 带 来 收入 ， 但 是 通过 这 种 方式 提升 了 企业 在 
客户 心中 的 形象 ， 使 得 客户 获取 企业 服务 更 加 便捷 、 高 效 ， 客 户 也 因此 更 喜欢 购买 企业 的 
产品 ， 从 而 增加 了 企业 的 收入 。 
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除了 增加 企业 的 收入 ， 企 业 还 可 以 借助 大 数据 服务 降低 成 本 。 从 费用 支出 的 类 型 角度 

看 , 成 本 消耗 主要 分 为 属于 投资 建设 的 CAPAX 投资 和 属于 业务 运营 的 OPEX 投资 两 部 分 ， 

因此 企业 可 以 借助 大 数据 服务 降低 这 两 部 分 投资 。 比 如 在 降低 CAPAX 投资 方面 ， 可 以 以 

用 户 价值 为 中 心 进行 资源 的 建设 ， 避 免 因为 靠 “ 假 设 `“ 猜 想 ” 而 造成 投资 浪费 。 在 降低 

OPEX 投资 方面 ， 企 业 可 以 借助 大 数据 服务 来 发 现 企业 流程 中 存在 的 问题 ， 通 过 流程 优化 
来 提高 运营 效率 ， 从 而 降低 企业 的 整体 运营 成 本 。 


3.4 大 数据 服务 模型 设计 : 默默 无 闻 的 贤 内 助 


行 成 于 思 而 毁 于 随 ， 面 向 操作 的 数据 模型 侧重 对 “ 行 ” 的 支持 ， 而 面向 分 析 的 数据 模型 则 侧重 
对 “ 思 ” 的 支持 。 


为 了 便于 看 到 数据 从 形成 、 聚 集 、 整 合 、 使 用 的 全 过 程 ， 从 面向 操作 的 数据 模型 和 面 
向 分 析 的 数据 模型 两 个 阶段 分 别 设计 。 
从 面向 操作 的 数据 模型 到 面向 决策 的 数据 模型 的 转化 过 程 如 图 3-4-1 所 示 。 


面向 换 作 的 事务 型 应 用 面向 决策 的 分 析 型 应 用 


客户 关系 管理 应 用 计 费 账 务 管理 应 用 合作 伙伴 关系 管理 应 用 
企业 裤 源 计划 管理 应 用 供应 链 管 理应 用 其 他 面向 生产 的 应 用 
~、 


支撑 交易 型 应 用 的 数据 库 


T 
图 3-4-1 数据 从 面向 操作 环境 到 面向 分 析 的 环境 的 转化 


从 图 3-4-1 可 以 看 出 ， 操 作 型 数据 来 源 于 事务 型 应 用 ， 这 些 数据 会 存储 在 支撑 事务 型 
应 用 的 数据 库 之 中 , 来 自 不 同 来 源 的 数据 会 汇聚 到 数据 仓库 , 然后 通过 ETL 等 工具 和 手段 ， 
形成 面向 不 同 主题 的 数据 集 市 。 
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以 电信 运营 商 为 例 ， 在 面向 操作 的 事务 型 应 用 会 记录 客户 以 及 客户 的 订购 数据 ， 如 果 
再 加 上 客户 的 业务 使 用 数据 ,就 可 以 形成 一 个 以 客户 为 中 心 的 、 360” 的 数据 集合 , 通过 数 
据 的 分 类 聚合 ， 可 以 帮助 企业 全 面 地 看 到 客户 从 咨询 、 订 购 、 支 付 、 使 用 、 申 告 、 投 诉 、 
建议 的 全 过 程 ， 从 而 达到 帮助 企业 决策 的 目的 。 
按照 数据 服务 的 目的 ， 将 数据 模型 分 为 面向 操作 的 数据 模型 和 面向 分 析 的 数据 模型 。 
面向 操作 的 数据 模型 主要 支撑 企业 完成 数据 的 增加 、 删 除 、 修 改 、 查 询 等 操作 ， 帮 助 企业 
完成 建设 、 生 产 、 运 营 以 及 内 部 管理 等 任务 。 而 面向 分 析 的 数据 模型 主要 完成 对 不 同 主题 、 
不 同 维度 统计 分 析 功 能 的 支持 。 
可 见 , 面向 操作 的 数据 模型 侧重 对 “ 行 ” 的 支持 , 而 面向 分 析 的 数据 模型 则 侧重 对 “ 思 ” 
的 支持 。“ 行 成 于 思 而 毁 于 随 ”， 没 有 行动 则 思考 没有 素材 ， 没 有 深刻 的 思考 则 行动 很 可 能 
会 偏离 方向 ， 企 业 需 要 统一 “ 行 ”和 “ 思 ”。 
从 数据 模型 对 企业 应 用 的 支撑 层次 , 将 数据 模型 分 为 战略 模型 、 战 术 模型 和 操作 模型 ， 
如 图 3-4-2 所 示 。 


图 3-4-2 战略、 战术 、 操 作 三 个 层次 的 数据 模型 


在 战略 层面 ， 面 向 分 析 的 数据 模型 支撑 企业 高 层 管理 人 员 完 成 战略 制定 工作 ， 包 括 工 
三 选 址 、 渠 道 选 址 、 兼 并 与 收购 规划 、 投 融资 规划 、 环 境 影响 分 析 、 非 常规 资金 预算 等 。 

在 战术 层面 ， 面 向 分 析 的 数据 模型 支撑 企业 的 中 层 干部 完成 管理 工作 ， 包 括 市 场 营销 
计划 、 销 售 计划 、 客 户 服务 计划 、 人 力 资源 计划 、 财 务 预 算 等 。 

在 操作 层面 ， 面 向 分 析 的 数据 模型 服务 于 企业 的 日 常生 产 经 营 活动 ， 包 括 个 人 贷款 授 
信 、 生 产 进 度 安 排 、 库 存 控制 、 维 护 计 划 、 质 量 控制 等 。 

面向 操作 数据 模型 与 面向 分 析 的 数据 模型 好 比 汽车 发 动机 和 油门 /刹车 之 间 的 关系 。 面 
向 操作 的 数据 模型 好 比 汽车 发 动机 ， 保 证 汽车 的 正常 运行 、 转 弯 ， 而 面向 分 析 的 数据 模型 
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则 好 比 司 机 根据 路 况 确定 踩 油 门 或 者 刹车 一 样 ， 两 种 必须 配合 起 来 ， 才 会 保障 企业 的 业务 
活动 有 序 进行 。 


3.4.1 面向 操作 的 数据 模型 设计 


在 企业 的 生产 经 营 过 程 中 ， 客 户 关系 管理 系统 、 供 应 链 管 理 系 统 、 企 业 资源 计划 系统 
等 产生 了 各 种 数据 ， 而 承载 以 上 数据 的 模型 就 是 面向 操作 的 数据 模型 。 

古语 云 :“ 水 能 载 舟 亦 能 覆 舟 ”如 果 将 面向 操作 的 数据 比 作 “ 水 ” 那么 面向 分 析 的 
数据 就 像 “ 舟 ” 如 果 没 有 “水 ”， 那 么 “ 舟 ” 就 没有 了 基础 ， 可 见 操作 型 数据 模型 在 大 数 
据 服务 中 的 重要 地 位 。 

操作 型 数据 模型 承载 的 数据 是 以 操作 对 象 为 单位 的 ， 比 如 客户 、 产 品 、 渠 道 、 订 单 等 。 
操作 型 数据 通常 存放 在 事务 处 理 系统 的 数据 库 之 中 ， 由 于 这 些 数据 是 企业 可 控 的 ， 因 此 成 
为 企业 进行 数据 分 析 的 重要 基础 。 

为 了 更 加 清晰 地 看 到 数据 从 产生 到 整合 利用 的 过 程 ， 本 节 对 面向 操作 的 主要 数据 模型 
进行 分 析 与 设计 ， 包 括 产 品 数据 模型 、 客 户 数据 模型 、 渠 道 数据 模型 、 资 源 数据 模型 、 供 
应 商 /合作 伙伴 数据 模型 、 人 力 资源 数据 模型 、 财 务 数据 模型 以 及 资产 数据 模型 。 


1. 产品 数据 模型 设计 


产品 是 企业 的 核心 载体 ， 集 中 反映 了 市 场 需求 和 资源 供给 。 一 方面 ， 产 品 反 映 了 企业 
对 市 场 需求 的 满足 ， 包 括 产品 销售 区 域 、 产 品 满足 的 客户 群 、 产 品 营销 渠道 、 产 品 客户 服 
务 渠 道 等 。 另 一 方面 ,产品 反映 了 企业 自身 资源 的 供给 能 力 。 一 个 企业 的 资源 总 是 有 限 的 ， 
企业 满足 的 市 场 需求 是 基于 企业 自身 资源 的 供给 能 力 的 , 包括 人 、 财 、 物 等 各 种 类 型 的 资源 。 

可 见 ， 产 品 在 企业 中 具有 核心 作用 ， 下 面 就 从 设计 产品 数据 模型 说 起 。 

从 产品 全 生命 周期 看 ， 包 括 产品 设计 、 产 品 测试 、 产 品 营销 、 产 品 销售 、 产 品评 价 、 


产品 退出 的 全 过 程 。 
在 产品 设计 阶段 ， 要 考虑 产品 的 构成 、 资 费 、 品 牌 、 营 销 区 域 、 营 销 渠道 、 面 向 客户 
群 等 因素 。 


在 产品 测试 阶段 ， 通 过 对 产品 的 内 部 测试 ， 保 证 产品 满足 设计 阶段 的 功能 性 和 非 功能 
性 要 求 ， 保 证 产品 可 用 。 企 业 也 会 通过 将 产品 投放 到 特定 市 场 区 域 的 方式 进行 产品 测试 。 
在 产品 营销 阶段 ， 主 要 包括 产品 营销 活动 计划 的 制订 、 营 销 活 动 的 执行 效果 评价 等 ， 
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目标 是 将 产品 信息 传送 给 有 产品 需求 的 人 群 。 
在 产品 销售 阶段 ， 主 要 是 保证 产品 有 效 地 交付 给 客户 ， 保 证 产品 交付 的 效率 和 效果 。 
在 产品 评价 阶段 ， 主 要 是 对 投放 市 场 一 定时 间 周 期 的 产品 进行 效果 评估 ， 根 据 产品 评 

价 结果 调整 市 场 营 销 、 销 售 以 及 客户 服务 策略 。 要 将 不 符合 市 场 需求 或 者 已 经 过 期 的 产品 

退出 市 场 。 

根据 以 上 分 析 ， 企 业 产 品 数据 模型 如 图 3-4-3 所 示 。 


O< 寺 | 市 场 普 销 活动 


图 3-4-3 企业 产品 数据 模型 示例 


从 图 3-4-3 可 以 看 出 ， 产 品 数据 模型 关乎 企业 从 市 场 营销 、 产 品 销售 、 资 源 供给 的 各 
个 方面 ， 为 了 模型 设计 的 灵活 性 ， 上 图 的 模型 中 没有 直接 体现 产品 与 资源 的 对 应 关系 ， 而 
是 通过 业务 来 衔接 产品 和 资源 的 关系 的 。 


2. 客户 数据 模型 设计 
客户 不 仅 包 括 已 经 使 用 企业 产品 或 服务 的 客户 ， 也 包括 潜在 客户 。 随 着 社会 生产 能 力 
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的 提升 ， 社 会 商品 越 来 越 多 ， 产 品 同 质 化 趋势 越 来 越 明 显 ， 企 业 借助 互联 网 ， 满 足 个 性 化 


的 客户 需求 ， 从 长 尾 中 获 利 。 

客户 个 性 化 需求 越 来 越 多 ， 使 得 企业 认识 到 只 有 生产 满足 市 场 需求 的 产品 ， 才 能 够 降 
低 企 业 库存 压力 ， 防 止 生产 过 剩 或 不 足 现象 发 生 。 因 此 ， 企 业 采 用 了 以 客户 为 中 心 的 管理 
思想 ， 对 于 客户 全 生命 周期 进行 管理 ， 包 括 对 细 分 市 场 ， 精 确定 位 客户 群 等 。 企 业 客户 概 


念 模型 如 图 3-4-4 所 示 。 


客户 评估 


图 3-4-4 ”企业 客户 概念 模型 示例 


3-4-4 中 的 模型 称 为 三 户 模型 ， 已 经 长 期 应 用 于 电信 运营 商 的 业务 支撑 系统 之 中 。 
三 户 分 别 代表 客户 、 用 户 和 账户 。 客 户 体 现 了 社会 域 的 信息 ， 用 户 也 称 为 订购 实例 ， 体 现 
了 业务 域 的 信息 ， 而 账户 则 体现 了 资金 域 的 信息 。 
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3， 渠道 数据 模型 设计 


渠道 是 企业 将 产品 和 服务 交付 给 客户 的 一 种 手段 。 渠 道 可 以 整合 各 种 产品 和 服务 ， 在 
产品 日 益 同 质 化 的 今天 ， 渠 道 在 社会 中 的 重要 性 越 来 越 突出 。 渠 道 在 产品 和 服务 的 提供 方 
和 消费 方 之 间 的 作用 如 图 3-4-5 所 示 。 


提供 方 客户 第 一 接触 点 ! 消 入 


图 3-4-5 ”渠道 是 连接 客户 与 产品 /服务 的 桥梁 和 纽带 


按 产 权 归 属 ， 可 以 将 渠道 分 为 自 有 渠道 和 社会 渠道 ， 按 照 存 在 形态 ， 可 以 将 渠道 分 为 
实体 渠道 和 电子 渠道 。 企 业 的 渠道 服务 体系 如 图 3-4-6 所 示 。 


图 3-4-6 ”企业 渠道 服务 体系 示例 


电子 渠道 可 以 降低 产品 和 服务 交付 成 本 ， 提 供 客户 获取 产品 和 服务 的 便捷 性 ， 在 互联 
网 发 达 的 今天 ， 电 子 渠 道 在 渠道 体系 中 的 占 比 越 来 越 高 ， 但 是 由 于 实体 渠道 能 够 获得 实物 
体验 ， 电 子 渠 道 和 实体 渠道 还 是 一 种 互补 关系 ， 像 服装 、 家 居 等 需要 现场 体验 的 商品 ， 还 
需要 借助 实体 渠道 销售 。 企 业 可 以 采用 线 上 到 线 下 (Online to Offline，O2O) 模式 ， 将 实 
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体 渠 道 和 电子 渠道 结合 起 来 ， 发 挥 两 种 渠道 各 自 的 优势 ， 实 现 两 者 的 有 效 协同 。 
企业 渠道 的 概念 模型 如 图 3-4-7 所 示 。 


ET 
人道 标识 < 


代金 支 
佣金 支付 标识 
爹 支付 规则 8 


巾 


图 3-4-7 企业 渠道 概念 模型 示例 


4. 市 场 营销 数据 模型 设计 


企业 的 市 场 营销 、 销 售 以 及 客户 服务 活动 属于 动态 行为 ， 反 映 了 企业 与 客户 交互 的 过 
程 ， 对 市 场 营销 进行 模型 设计 的 目的 是 捕 提 交易 过 程 ， 为 客户 提供 更 好 的 服务 。 

市 场 营销 的 目的 是 吸引 客户 并 促进 销售 。 一 般 包括 营销 战略 与 规划 、 营 销 活动 策划 、 
营销 区 域 、 接 触 /机 会 、 竞 争 对 手 、 销 售 统计 以 及 销售 渠道 。 

企业 的 市 场 营销 概念 模型 如 图 3-4-8 所 示 。 


5. 资源 数据 模型 设计 


资源 的 定义 很 广 ， 在 这 里 是 支撑 生产 与 价值 创造 的 物质 ， 比 如 网 络 资源 、 货 币 资源 、 
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IT 资源 、 业 务 资源 等 。 


图 3-4-8 企业 市 场 营销 概念 模型 示例 


同样 ， 资 源 也 是 区 分 不 同行 业 的 重要 依据 。 比 如 ， 电 信行 业 的 资源 主要 是 指 信息 通信 
网 络 资源 ， 网 络 才 是 电信 运营 企业 提供 信息 通信 服务 的 根本 ; 金融 行业 的 资源 主要 是 指 货 
币 资源 ， 因 为 货币 才 是 银行 、 证 券 、 保 险 等 金融 企业 的 根本 ， 没 有 货币 资源 ， 这 些 行业 就 
失去 了 存在 的 基础 :互联 网 行业 与 电信 行业 类 似 , 资源 主要 是 指 工 资源 ， 比 如 交换 机 、 路 
由 器 、 服 务 器 、 存 储 、 中 间 件 、 数 据 库 等 ， 如 果 没 有 IT 资源 ， 互 联网 企业 就 无 法 为 用 户 提 
供 搜 索 、 新 闻 、 电 子 商 务 等 线 上 服务 。 
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此 外 ， 业 务 资源 也 是 很 重要 的 资源 之 一 ， 因 为 业务 资源 是 直接 面向 营销 的 ， 比 如 卡 、 

号 、 终端 、 礼品 、 票据 等 , 这 些 业 务 资源 在 完成 产品 和 服务 的 交付 中 也 起 到 非常 重要 的 作用 。 

资源 分 为 物理 资源 和 逻辑 资源 。 物 理 资源 是 指 有 形 的 实体 ， 风 辑 资源 是 指 无形 实 体 。 

物理 资源 包括 人 们 能 够 看 到 的 机 架 、 机 框 、 板 卡 、 插 槽 、 端 口 等 ， 风 辑 资源 包括 人 P 地 址 、 
风 辑 端口 号 、 各 种 软件 等 。 

资源 主要 面向 生产 和 市 场 经 营 ， 更 多 的 是 体现 其 实物 属性 。 与 资源 相对 的 是 资产 ， 它 

主要 体现 其 价值 属性 ， 是 企业 进行 成 本 核算 的 重要 依据 。 通信 资 源 数据 模型 如 图 3-4-9 所 示 。 


图 3-4-9 ”企业 资源 数据 模型 〈 以 通信 资源 为 例 ) 
以 上 为 不 同行 业 中 的 基础 支撑 性 资源 ， 除 了 基础 支撑 性 资源 之 外 ， 随 着 产品 的 日 益 同 
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质 化 ， 市 场 竞争 日 益 激烈 ， 客 户 、 品 牌 等 无 形 的 资源 在 企业 中 的 地 位 越 来 越 重 要 。 
6. 供应 商 /合作 伙伴 数据 模型 设计 


广义 的 合作 伙伴 是 指 一 切 与 企业 合作 的 对 象 ， 包 括 供应 商 、 分 销 商 、 服 务 提供 商 、 内 
容 提供 商 等 。 在 这 里 ， 合 作 伙伴 特 指 那些 提供 产品 、 服 务 和 内 容 的 供应 商 ， 这 些 供应 商 提 
供 的 产品 、 服 务 和 内 容 并 不 是 用 于 企业 的 基础 设施 建设 的 ,而 是 用 于 企业 产品 和 服务 的 构建 的 。 

企业 合作 伙伴 管理 数据 模型 应 当 能 够 实现 企业 对 产品 与 服务 提供 商 /内 容 提供 商 的 信 
息 管理 ， 企 业 与 合作 伙伴 的 接触 管理 、 合 同 管理 、 违 约 管理 、 培 训 管 理 、 评 估 管 理 等 。 企 
业 合 作 伙 伴 数据 模型 如 图 3-4-10 所 示 。 


产品 与 服务 提供 商 内 容 提供 商 3 


合作 伙伴 接触 


人 
合作 伙伴 违约 合作 众人 


合作 伙伴 编码 合作 伙伴 编码 


图 3-4-10 企业 供应 商 /合作 伙伴 概念 模型 示例 
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7. 人力 资源 数据 模型 设计 


员工 是 企业 创造 价值 的 主体 。 企 业 应 当 采 用 全 生命 周期 管理 的 思维 方式 来 实现 对 人 力 
资源 的 管理 ， 包 括 员工 招聘 、 员 工 考勤 、 薪 酬 福利 管理 、 绩 效 考核 、 培 训 考试 等 过 程 环境 。 
企业 人 力 资源 数据 模型 如 图 3-4-11 所 示 。 


图 3-4-11 企业 人 力 资源 数据 模型 示例 


在 互联 网 发 达 的 今天 ， 企 业 有 条 件 从 互联 网 获取 关于 所 需 人 才 的 更 多 有 价值 的 数据 ， 
企业 应 当 借 助 大 数据 ， 构 建 、 丰 富 和 完善 人 才 库 ， 打 造 具有 竞争 力 的 人 才 队 伍 。 

8. 财务 数据 模型 设计 

财务 数据 是 计算 企业 收入 和 成 本 的 基础 ， 为 了 便于 记 账 ， 企 业 借助 会 计 科目 定义 财务 
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发 生 的 对 象 ， 形 成 财务 计算 的 基础 。 

企业 财务 数据 模型 如 图 3-4-12 所 示 。 

在 移动 互联 网 时 代 ， 社 会 专业 化 分 工 更 细 ， 企 业 需 要 在 发 挥 自身 核心 竞争 力 的 同时 ， 
与 更 多 的 原材料 供应 商 、 服 务 提供 商 、 分 销 商 等 合作 ， 为 了 降低 企业 风险 ， 企 业 管理 者 需 
要 及 时 掌握 成 本 收益 情况 。 可 见 ， 企 业 非 常 有 必要 构建 面向 移动 互联 网 的 财务 模型 。 


图 3-4-12 企业 财务 概念 模型 示例 
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9. 资产 数据 模型 设计 


资产 与 资源 的 关注 点 不 同 。 资 产 关注 物 的 价值 属性 ， 而 资源 则 关注 “ 物 ” 的 使 用 属性 。 

在 企业 的 生产 和 运营 过 程 中 , 资产 会 随 着 时 间 的 推移 、 技 术 的 革新 等 逐渐 贬值 。 因 此 ， 
企业 通过 全 生命 周期 管理 资产 ， 可 以 准确 地 评估 成 本 ， 降 低 企业 运营 风险 。 

企业 资产 数据 模型 如 图 3-4-13 所 示 。 


图 3-4-13 ”企业 资产 概念 模型 示例 
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3.4.2 面向 分 析 的 数据 模型 设计 


面向 操作 的 数据 模型 用 于 支撑 企业 高 效 地 完成 各 种 业务 活动 ， 而 面向 分 析 的 数据 模型 
则 是 为 了 帮助 企业 发 现 数据 背后 隐藏 的 规律 。 

著名 数据 仓库 专家 Bill Inmon 和 Ralph Kimball, 从 不 同 角度 提出 了 分 析 模 型 设计 方法 。 
Bil Inmon 主张 基于 细 颗 粒度 的 原始 数据 构建 分 析 模型 ， 这 样 分 析 人 员 可 以 具有 更 大 的 自 
主 性 。Ralph Kimball 则 从 用 户 需求 出 发 ， 主 张 构建 面向 主题 的 多 维 模型 ， 使 得 分 析 模 型 更 
加 贴近 用 户 ， 更 容易 使 用 。 

两 位 数据 仓库 大 师 从 不 同 的 视角 提出 了 分 析 模 型 的 构建 思维 与 方法 ， 一 个 是 为 数据 分 
析 人 员 提 供 更 大 的 灵活 性 ， 一 个 是 为 了 更 好 地 满足 数据 分 析 人 员 的 个 性 化 需求 ， 两 者 各 有 
利 次 。 下 面 简 单 分 析 一 下 面向 分 析 的 数据 ， 即 多 维 模型 构建 的 方法 。 


1. 多 维 模型 建 模 方法 


数据 仓库 大 师 是 多 维 数据 模型 设计 的 倡导 者 。Ralph Kimball 将 多 维 模型 设计 步骤 归结 
为 四 步 法 ， 如 图 3-4-14 所 示 。 


图 3-4-14 ”多维 模型 设计 四 步 法 


从 图 3-4-14 可 以 看 出 ， 多 维 模型 设计 的 前 提 是 业务 需求 和 可 用 数据 ， 这 与 3.2 节 中 大 
数据 服务 的 需求 分 析 方 法 是 类 似 的 ， 业 务 需求 决定 了 多 维 模型 的 目标 和 方向 ， 而 可 用 数据 
则 是 多 维 模 型 设计 的 前 提 和 基础 。 

多 维 模型 设计 四 步 法 如 下 。 

第 一 步 : 选择 业务 过 程 。 企 业 以 面向 过 程 管理 的 方法 论 为 指导 ， 通 过 业务 过 程 来 刻画 
企业 生产 经 营 的 各 种 业务 活动 。 采 用 面向 过 程 而 不 是 面向 职能 的 管理 方法 ， 消 除了 职能 部 
门 之 间 的 流程 难以 贯通 、 信 息 不 能 充分 共享 等 问题 。 

从 时 间 轴 看 ， 业 务 过 程 分 为 企业 战略 管理 、 基 础 设施 生命 周期 管理 、 产 品 生命 周期 管 
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懂 


E、 运 营 准备 、 服 务 开通 、 服 务 保障 以 及 计 费 收费 几 个 阶段 。 通过 对 企业 业务 过 程 的 分 解 ， 
J 以 清晰 地 看 到 业务 过 程 在 整个 业务 过 程 框 架 体系 中 的 位 置 。 例 如 ， 选 择 产 品 定价 和 商品 
促销 两 个 业务 过 程 ， 通 过 构建 多 维 模 型 满足 企业 决策 分 析 的 需要 。 

第 二 步 : 定义 数据 颗粒 度 。 数 据 颗 粒度 表明 了 事实 表 中 每 一 行 代表 的 含义 。 例 如 : 

。 每 行 代表 客户 在 超市 购物 的 每 一 笔 交 易 ; 

。 每 行 代表 每 个 员工 每 天 的 考勤 记录 ; 

。 每 行 代表 每 个 移动 用 户 每 天 的 上 网 流量 ; 

。 每 行 代表 每 个 人 每 月 的 公交 卡 刷 卡 次 数 ， 等 等 。 

预先 声明 数据 的 颗粒 度 是 非常 重要 的 ， 事 实 表 中 数据 的 颗粒 度 表示 了 多 维 模 型 中 装载 
数据 的 规模 以 及 数据 分 析 的 能 力 。 通 常 是 数据 颗粒 度 越 小 ， 越 能 够 从 更 多 维度 对 数据 进行 
分 析 ， 而 分 析 的 性 能 与 较 大 颗粒 度 的 数据 相 比 也 会 差 一 些 。 

第 三 步 : 识别 维度 。 用 户 可 以 通过 多 个 维度 来 查看 数据 的 统计 特征 ， 正 如 “ 横 看 成 崔 
侧 成 峰 ， 远 近 高 低 各 不 同 ”。 通常 企业 对 数据 统计 的 维度 包括 日 期 、 产品 、 渠 道 、 促 销 、 雇 
员 、 支 付 方式 等 。 

第 四 步 : 识别 事实 。 事 实 是 数据 分 析 的 “结果 ” 比如 销售 数量 ， 销 售 额度 等 。 比 如 ， 
企业 统计 2015 年 第 三 季度 通过 各 种 销售 渠道 销售 的 iPhone 6 终端 数 ， 那 么 统计 的 维度 就 
是 日 期 维度 2015 年 第 三 季度 )、 渠 道 维度 〈 实 体 营业 厅 、 网 上 营业 厅 等 )， 而 事实 就 是 销 
售 的 iPhone 6 终端 数 。 
通常 采用 SQL 对 多 维 模型 进行 分 析 ，SQL 实现 代码 如 下 : 

-- 1. 构 建 日 期 维度 测试 数据 

DROP TABLE dates PURGE; 

CREATE TABLE dates (date key INTEGER, date str VARCHAR2 (8) ,quar numVARCHAR2 (8) ) > 
INSERT INTO dates (date key, date str,quar num) VALUES (1,'20150401', ' 第 三 季度 '); 
INSERT INTO dates (date key, date str,quar num) VALUES (2,'20150402', ' 第 三 季度 '); 
INSERT INTO dates (date key, date str,quar num) VALUES (3,'20150403', ' 第 三 季度 '); 
COMMIT; 

SELECT * FROM dates; 

-- 2. 构建 销售 渠道 维度 测试 数据 

CREATE TABLE channel (chan key INTEGER, chan type INTEGER, chan_ desc 
VARCHAR2 (20) ); 

INSERT INTO channel (chan key,chan type,chan desc) VALUES (1,1,"' 实体 营业 厅 ') ; 


INSERT INTO channel (chan key, chan type,chan desc) VALUES (2,2,' 网 上 营业 厅 '); 
INSERT INTO channel (chan key,chan type,chan desc) VALUES (3,3,"' 电话 营业 厅 '); 
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COMMIT; 

SELECT * FROM channel; 

-- 3. 构建 销售 事实 表 测 试 数据 

DROP TABLE sales facts PURGE; 

CREATE TABLE sales facts(seq no INTEGER, sale date VARCHAR2 (8) ,chan type 
VARCHAR2 (20) ,product VARCHAR2 (20),quantity INTEGER); 

INSERT INTO sales facts (seq no,sale date,chan type,product, quantity) 
VALUES (1, '20150401',1,'iPhone6', 60); 

INSERT INTO sales facts (seq no,sale date,chan type,product, quantity) 
VALUES (2, '20150401',1,'iPhone6', 50); 

INSERT INTO sales facts(seq no,sale date, chan type,product, quantity) 
VALUES (3, '20150402',2,'iPhone6', 40); 

INSERT INTO sales facts (seq no,sale date,chan type,product, quantity) 
VALUES (4, '20150402',2,'iPhone6', 30); 

INSERT INTO sales facts (seq no,sale date,chan type,product, quantity) 
VALUES (5, '20150403',3,"'iPhone6',20); 

INSERT INTO sales facts(seq no,sale date,chan type,product, quantity) 
VALUES (6, '20150403',3,'iPhone6',10); 

COMMIT; 

SELECT * FROM sales facts; 

-- 4 .执行 基 于 多 维 模型 的 事实 统计 

SELECT A.QUAR NUM,B.CHAN DESC, SUM(C. quantity) PROD QUAN SUM FROM DATES 
A,CHANNEL B,SALES FACTS C 

WHERE A.DATE STR = C.SALE DATE AND B.CHAN TYPE = C.CHAN TYPE 

GROUP BY A.QUAR NUM,B.CHAN DESC; 

--_ 5. 统计 结果 


区 


上 面 的 示例 中 ，GROUP BY 后 的 字段 就 是 各 个 统计 维度 ， 而 SUM 内 的 字段 就 是 事 


将 


表 中 需要 统计 的 “事实 ”。 


2. 多 维 模型 的 两 种 结构 


面向 分 析 的 数据 模型 包括 星 型 和 雪花 型 两 种 结构 。 
星 型 结构 以 事实 表 (Fact Table) 为 中 心 ， 外 围 是 各 种 维度 表 (Dimension Table)。 事 


实 表 的 主要 特点 是 包含 数字 数据 〈 事 实 )， 并 且 这 些 数 字 信息 可 以 汇总 。 每 个 事实 表 包 含 一 
个 由 多 个 部 分 组 成 的 索引 ， 该 索引 是 事实 表 的 外 键 ， 是 相关 维度 表 的 主键 。 星 型 结构 的 多 


| 154 


第 3 章 
孕育 : 凡事 预 则 立 ， 不 预 则 废 


维 数据 模型 如 图 3-4-15 所 示 。 
客户 维 计 费 事实 表 - 账单 日 期 维 了 日 闭 。 
容 户 刍 
客户 ID 
和 计 红 事实 表 - 客 户 维 
客户 所 在 城市 9 
i 谣 ， 
计 费 事实 表 - 业务 维 业务 编号 
官方 授信 籁 度 业务 区 域 代码 
业务 激活 日 其 
必 资费 计划 维 
资费 计划 刍 
必 销售 机 构 维 计划 名 称 
销售 机 构 键 计 费 事实 表 - 销售 机 构 维 计 民事 实 者 - 资 风 计划 维 ”| 交 旨 计划 六 各 
销售 机 构 编号 资费 计划 类 型 描述 
销售 机 构 名 称 计划 内 分 钟 数 
销售 渠道 ID 计划 内 短 消息 数 
销售 渠道 名 称 计划 内 流量 大 小 
[| 节假日 分 钟 数 


图 3-4-15 星 型 结构 的 多 维 模型 示例 


从 图 3-4-15 可 以 看 出 , 星 型 结构 的 多 维 模 型 是 以 计 费 事实 表 为 中 心 的 , 包括 账单 日 期 、 
客户 、 业 务 、 资 费 计 划 、 销 售 机 构 几 个 维度 。 在 多 维 模型 设计 时 ,尽量 减少 维度 表 的 数量 ， 
根据 经 验 , 维度 表 尽 量 不 要 超过 20 个 ,如 果 维 度 表 太 多 ,应 当 将 几 个 维度 表 合 并 为 一 个 较 
大 的 维度 表 ， 太 多 的 维度 表 会 因为 多 表 之 间 复 杂 的 关联 关系 而 大 大 降低 统计 的 整体 性 能 。 

雪花 型 结构 是 星 型 结构 的 组 合 ， 不 同 的 事实 表 由 一 个 或 者 多 个 公共 的 维度 表 连 接 起 来 。 


3.4.3 ”大 数据 服务 元 数据 设计 


什么 是 元 数据 ? 元 数据 (Meta Data) 是 数据 的 数据 ， 既 包括 数据 结构 定义 ， 也 包括 数 
据 操作 过 程 。 元 数据 对 于 数据 分 析 人 员 而 言 ， 就 像 一 本 大 词典 ， 要 想 写 出 一 篇 好 的 文章 ， 
必须 学 会 词语 的 含义 ， 将 多 个 词语 连接 在 一 起 ， 就 变 成 了 一 篇 好 文章 。 
面向 操作 的 数据 库 中 存放 的 元 数据 包括 数据 表 结 构 、 主 键 、 外 键 、 索 引 、 分 区 等 ， 这 
些 元 数据 通过 数据 定义 语言 (DDL) 来 构建 借助 数 据 操作 语言 (DML) 实现 对 数据 内 容 
的 存 取 。 面 向 操作 的 数据 库 用 于 支撑 事务 型 应 用 ， 主 要 是 开发 者 关注 元 数据 的 定义 ， 最 终 
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用 户 无 须 关 注 元 数据 的 定义 ， 只 需 使 用 事务 处 理 系统 提供 的 功能 即 可 。 

与 面向 操作 的 数据 库 不 同 ， 面 向 分 析 的 数据 仓库 用 于 实现 决策 型 应 用 ， 数 据 分 析 人 员 
需要 掌握 元 数据 ， 才 能 够 对 不 同 的 数据 进行 关联 ， 发 现 数据 背后 隐藏 的 规律 。 著 名 数据 仓 
库 专 家 Bil Inmon 将 数据 仓库 分 为 交互 区 、 集 成 区 、 近 线 区 和 归档 区 。 在 数据 管理 策略 的 
指导 下 , 数据 在 不 同 区 之 间 移 动 。 数据 在 移动 的 过 程 中 , 需要 将 ETL 规则 作为 元 数据 存储 ， 
以 便 理 解数 据 转化 前 后 语义 的 变化 。 


3.5 大 数据 服务 容量 设计 : 海纳百川 ， 有 容 万 大 


与 事务 处 理应 用 相 比 ， 大 数据 服务 属于 分 析 处 理应 用 ， 由 于 两 者 的 数据 处 理 特点 不 同 ， 因 此 容 
量 估算 方法 也 有 一 定 的 区 别 。 


随 着 时 间 的 推移 ， 会 有 越 来 越 多 的 数据 进入 数据 仓库 ， 如 果 不 及 时 管理 存储 空间 ， 大 
数据 服务 就 会 难以 运行 。 

为 了 完成 大 数据 服务 的 容量 设计 , 需要 进行 容量 的 估计 、 容量 占用 监测 以 及 容量 调整 。 
企业 可 以 根据 大 数据 的 规模 、 分 析 时 长 要 求 等 估计 大 数据 服务 所 需 的 存储 空间 、 计 算 能 力 
以 及 网 络 传输 带宽 。 

在 大 数据 服务 运行 的 过 程 中 ， 要 根据 监测 到 的 容量 占用 情况 ， 及 时 迁移 或 删除 数据 、 
增加 基础 设施 资源 等 ， 以 保障 大 数据 服务 的 正常 运行 。 可 以 根据 数据 活跃 度 、 存 储 时 限 规 
则 等 将 数据 转移 到 相应 的 存储 设备 。 


1. 事务 处 理 系统 容量 设计 方法 


事务 就 是 请 求 提 交 到 返回 结果 的 过 程 。 面 向 操作 的 应 用 的 特点 为 事务 性 。 事 务 的 4 个 
特性 为 ACID， 即 原子 性 、 一 致 性 、 隔 离 性 、 持 久 性 。 比 如 在 网 上 购物 ， 填 写 完了 商品 、 
配送 信息 并 完成 支付 后 ， 单 击 提交 就 发 起 了 一 个 交易 申请 ， 然 后 系统 会 给 出 交易 结果 。 要 
求 事务 处 理 系统 能 够 快速 地 响应 请 求 ， 通 常 是 几 秒 钟 之 内 ， 否 则 系统 用 户 是 无 法 接受 的 。 

基于 数据 仓库 构建 的 在 线 分 析 处 理 COLAP) 与 面向 操作 的 事务 型 应 用 相似 ， 为 了 解 
决 OLAP 应 用 快速 响应 用 户 的 问题 ， 通 常 采用 构建 中 间 表 的 方式 ， 预 先 将 分 析 结 果 放 入 中 
间 表 ， 然 后 系统 从 中 间 表 中 直接 取出 分 析 结 果 。 
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面向 操作 的 事务 处 理应 用 需要 估算 计算 、 存 储 和 传输 三 个 方面 的 能 力 ， 能 力 估算 方法 
如 下 : 

1) 事务 处 理应 用 计算 能 力 估算 方法 

计算 能 力 需求 = 计划 支撑 的 用 户 数 X 单 用 户 的 交易 量 X 单 个 用 户 需要 的 TpmC(tpm 
是 transactions per minute 的 简称 ，C 指 TPC 中 的 C 基准 程序 )X 宛 余 系 数 。 

对 于 HP、IBM 等 服务 器 设备 厂商 ， 通 常会 给 出 某 个 配置 下 其 服务 器 的 TpmC 能 力 
因此 可 以 根据 估算 结果 和 厂家 某 个 型 号 配置 的 服务 器 TpmC 能 力 的 对 比 ， 算 出 需要 某 种 品 
牌 型 号 服务 器 的 数量 。 

2) 事务 处 理应 用 存储 能 力 估算 方法 

存储 能 力 需求 = 计划 支撑 的 用 户 数 X 单 用 户 产生 的 记录 数 / 天 X 单 条 记录 大 小 X 元 余 
系数 ， 此 外 存储 空间 估算 还 应 当 考虑 操作 系统 、 中 间 件 、 索 引 、 日 志 等 额外 占用 的 空间 以 
及 RAID、 数 据 存储 时 间 策 略 等 因素 ， 最 后 再 根据 磁盘 类 型 、 容 量 来 选择 所 需 的 硬盘 数量 ， 
磁盘 分 为 SATA 盘 、SAS 盘 、FC 光纤 盘 等 ， 磁 盘 容 量 通常 包括 300GB、450GB、1TB 等 。 

3) 事务 处 理应 用 网 络 能 力 估算 方法 

网 络 能 力 需 求 = 计划 支撑 的 用 户 数 X 单 用 户 传输 带宽 X 宛 余 系 数 。 批 量 数 据 传输 往 
往 需 要 较 大 的 网 络 带宽 。 可 以 根据 带宽 要 求 ， 选 择 光 口 还 是 电 口 ， 采 用 千 兆 端口 还 是 万 兆 
端口 。 

从 事务 处 理应 用 的 容量 估算 方法 可 以 看 出 ， 计 划 支 撑 的 用 户 数 是 对 面向 操作 的 事务 处 
理应 用 进行 容量 设计 时 考虑 的 主要 因素 。 

2. 大 数据 分 析 处 理 系统 容量 设计 方法 

与 事务 处 理应 用 相 比 , 大 数据 服务 属于 分 析 处 理应 用 , 由 于 两 者 的 数据 处 理 特点 不 同 
因此 容量 估算 方法 也 有 一 定 的 区 别 。 大 数据 服务 通常 要 经 过 数据 ETIL、 数 据 存储 、 数 据 分 
析 、 数 据 展示 、 数 据 开放 的 过 程 ， 因 此 在 计算 能 力 、 存 储 能 力 以 及 网 络 能 力 的 估算 上 也 有 
自身 的 特点 。 大 数据 服务 在 不 同 阶段 对 于 基础 设施 的 需求 如 图 3-5-1 所 示 。 

从 图 3-5-1 可 以 看 出 ， 对 于 一 个 普通 的 大 数据 项 目 ， 通 常 要 经 过 数据 采集 (1)、 数 据 
存储 和 数据 转换 (2.1，2.2，3.1，3.2，3.3，3.4)、 数 据 展示 (4.1，4.2) 三 大 步骤 ， 具 体 
处 理 过 程 如 下 。 

第 一 步 : 从 各 种 数据 源 采 集 数据 。 数 据 源 分 为 内 部 和 外 部 数据 源 两 种 。 内 部 数据 源 是 
企业 自身 的 数据 ， 比 如 电信 运营 商 的 用 户 上 网 数据 是 从 交换 机 获取 的 业务 使 用 记录 ; 外 部 
数据 源 是 企业 从 外 部 获取 的 数据 ， 比 如 移动 终端 配置 数据 是 从 第 三 方 公司 数据 库 获取 的 。 
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采集 数据 的 方式 也 分 为 主动 和 被 动 两 种 。 主 动 方式 是 主动 去 数据 源 抓 取 数据 ， 比 如 可 以 通 
过 网 络 朴 虫 在 各 大 网 站 获取 数据 ;被 动 方式 是 企业 为 数据 源 设 定好 存储 位 置 ， 让 数据 提供 
方 按照 时 间 策 略 向 指定 位 置 存放 数据 。 


| 采集 服务 器 | 分 布 式 数据 库 集 本 


展示 服务 器 
| 鸣 各 外部) 1 (FIP 等 ) Hadoop/Hhase 等 ) | | 《内 有 到 和 (OLAP 等 ) 


| 
1 
1 “> 
省 人 
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图 3-5-1 大 数据 服务 不 同 阶段 的 基础 设施 需求 


第 二 步 : 数据 存储 和 数据 转换 。 企 业 可 以 根据 数据 特点 不 同 采取 不 同 的 数据 存储 策略 ， 
如 果 数 据 规 模 大 或 者 预期 的 数据 规模 大 , 传统 的 关系 型 数据 库 是 无 法 满足 快速 处 理 要 求 的 ， 
因而 需要 考虑 采用 分 布 式 数据 库 ， 比 如 Hadoop/HBase。 类 似 Hadoop/HBase 这 样 的 分 布 式 
数据 库 的 特点 是 扩展 性 好 ， 如 果 存 储 空间 不 够 ， 只 需 增 加 存储 服务 器 即 可 。 不 足 之 处 是 
HBase 只 适合 单 表 或 者 多 表 之 间 关 联 关系 简单 的 场景 ， 对 于 需要 数据 操作 或 者 多 表 关 联 的 
应 用 ， 还 是 需要 基于 关系 型 数据 库 实现 的 。 

关系 型 数据 的 优势 就 是 能 够 对 数据 进行 整合 和 统计 ， 从 而 使 得 用 户 可 以 从 多 个 维度 来 
查看 分 析 结 果 。 当 然 ， 由 于 关系 型 数据 库 基 于 单机 模式 完成 架构 设计 ， 尽 管 也 可 以 支持 集 
群 方式 部 署 ， 但 是 横向 扩展 能 力 有 限 。 可 见 ， 多 表 关 联 查 询 要 比 键 值 映射 方式 对 数据 库 管 
理 系 统 的 要 求 高， 但 是 没有 键 值 映射 方式 的 扩展 性 好 。 因 此 ， 在 大 数据 存储 时 ， 需 要 结合 
应 用 需求 和 数据 库存 储 特征 来 进行 综合 考量 : 使 用 分 布 式 数据 来 存储 数据 规模 大 、 增 量 大 
并 且 以 数据 查询 为 主 的 数据 ， 采 用 关系 型 数据 库 实现 需要 多 表 关 联 的 查询 统计 功能 。 

当 原 始 数 据 存储 到 数据 库 中 以 后 ， 需 要 对 数据 进行 抽取 、 转 换 与 加 载 ， 保 证 数据 质量 
和 应 用 要 求 。 数 据 过 程 通常 是 经 过 初步 的 ETL， 然 后 将 数据 存储 到 数据 仓库 ， 接 着 再 次 对 
数据 进行 ETL， 将 数据 加 工 成 面向 不 同 主题 的 数据 集 市 ， 以 便于 从 多 个 维度 查看 数据 统计 
结果 。 
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第 三 步 : 数据 展示 阶段 。 昌 然 已 经 费 了 很 大 力气 完成 了 数据 的 抽取 、 转 换 、 丰 富 等 工 
作 ， 但 是 数据 毕竟 是 给 人 看 的 ， 数 据 展示 得 越 好 ， 越 容易 让 用 户 看 到 数据 背后 隐藏 的 事实 
和 规律 。 比 如 电信 运营 商 为 了 查看 各 地 区 数据 流量 的 多 少 ， 可 以 基于 电子 地 图 ， 不 同 数据 
流量 区 间 用 不 同 的 颜色 标识 ， 这 样 可 以 直观 地 看 到 各 省 数据 流量 的 多 寡 。 
1) 大 数据 分 析 处 理 系 统 容量 估算 方法 
大 数据 分 析 处 理 系统 容量 估算 可 以 分 为 理论 估算 法 和 实验 估算 法 两 种 类 型 。 
理论 估算 法 的 数据 基础 包括 文件 数 、 单 个 文件 数 的 记录 条 数 、 单 条 记录 大 小 、 数 据 采 
集 周期 ， 数 据 采 集 周期 包括 一 次 、 一 天 、 一 个 月 等 ， 这 样 就 能 够 算出 某 个 时 间 段 内 的 总 数 
据 量 大 小 。 然 后 再 考虑 磁盘 的 匈 余 空间 系数 ， 就 可 以 算出 对 于 磁盘 空间 总 的 需求 量 。 理 论 
估算 法 适合 于 没有 样本 数据 的 场景 。 
理论 估算 法 的 计算 公式 为 : 存储 空间 大 小 = 文件 个 数 X 单 个 文件 记录 数 X 单 条 记录 
大 小 X 时 间 长 度 X 元 余 系 数 。 
实验 估算 法 基于 某 个 时 间 段 的 样本 数据 。 用 户 可 以 用 操作 系统 自 带 的 命令 查看 文件 大 
小 。 如 果 进 入 数据 仓库 的 数据 从 时 间 上 是 连续 的 ， 则 可 以 通过 样本 数据 测量 值 与 时 间 长 度 
相 乘 ， 算 出 大 数据 分 析 处 理 系统 存储 空间 需求 。 
实验 估算 法 的 计算 公式 为 : 大 数据 分 析 处 理 系统 存储 空间 大 小 = 样本 数据 量 大 小 Xx 
时 间 长 度 X 宛 余 系数 。 
2) 大 数据 分 析 处 理 系统 计算 能 力 估算 方法 
传统 数据 处 理 与 存储 架构 是 “主机 + 磁盘 阵列 ”的 集群 方式 ， 主 机 可 以 是 小 机 、PC 服 
务 器 或 者 刀片 服务 器 ， 磁 盘 阵 列 可 以 是 NAS、SAN 等 ， 采 用 的 协议 可 以 是 FC、 卫 等 。 
传统 数据 处 理 与 存储 架构 解决 了 存储 资源 和 计算 资源 的 共享 问题 。 多 个 服务 器 组 成 的 
集群 可 以 将 计算 资源 统一 管理 ， 接 收 请 求 的 负载 均衡 器 会 根据 服务 器 负荷 将 请 求 发 送 到 计 
算 资源 充足 的 服务 器 。 磁 盘 阵 列 实现 共享 的 方式 更 加 容易 理解 ， 就 是 多 个 磁盘 放 到 一 个 机 
箱 中 ， 机 箱 可 以 扩展 并 且 机 箱 内 可 以 热 揪 拔 磁盘 ， 这 样 可 以 便于 扩展 磁盘 空间 。 
“主机 + 磁盘 阵列 ”的 系统 架构 将 计算 和 存储 分 离 ， 通 过 计算 群 和 存储 群 的 方式 提高 了 
并 行 处 理 能 力 ， 满 足 了 高 并 发 的 事务 处 理应 用 的 系统 要 求 ， 但 是 这 种 架构 也 带 来 了 新 的 问 
题 ， 就 是 计算 和 存储 资源 的 横向 扩展 能 力 是 有 限 的 。 
大 数据 服务 的 特点 是 数据 量 大 ， 尤 其 是 随 着 时 间 的 推移 ， 数 据 量 会 不 断 增 大 ， 要 求 计 
算 和 存储 资源 能 够 具备 几乎 没有 限制 的 扩展 能 力 。 为 了 满足 不 断 增加 的 数据 量 ， 谷 歌 公 司 
是 出 了 基于 MapReduce 和 GFS 的 分 布 式 计算 架构 , 与 “主机 + 磁盘 阵列 ”的 架构 方式 不 同 ， 
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谷歌 公司 利用 廉价 的 机 器 设备 ， 通 过 软件 将 能 力 不 一 的 大 量 计 算 机 设备 连接 到 一 起 ， 降 低 
了 IT 基础 设施 采购 成 本 ， 提 升 了 IT 基础 设施 的 扩展 能 力 。 随 后 ，Apache 受 谷 歌 的 
GFS/MapReduce 架构 的 启发 ， 提 出 了 Hadoop 分 布 式 计算 架构 。 

可 见 ， 新 型 的 面向 大 数据 的 分 布 式 计算 架构 与 “主机 + 磁盘 阵列 ”的 系统 架构 在 设计 
思路 上 完全 不 同 ， 大 数据 计算 能 力 估算 的 方法 也 是 不 同 的 。 


3.6 ”大 数据 服务 过 程 设计 : 卓有成效 的 管理 者 


大 数据 服务 过 程 包 括 服务 目录 管理 、 容 量 管理 、 可 用 性 管理 、 连 续 性 管理 、 服 务 等 级 管理 、 信 
息 安全 管理 、 供 应 商 管理 等 。 


在 设计 方法 方面 ， 大 数据 服务 与 支撑 企业 运营 的 服务 既 存 在 区 别 ， 又 存在 联系 。 不 同 
之 处 是 : 大 数据 服务 的 设计 主要 以 “数据 ”为 参考 点 ,“ 数 据 ” 类 型 越 多 、 越 丰富 、 越 新 鲜 ， 
越 有 助 于 设计 好 的 服务 ， 两 者 的 共同 点 是 : 大 数据 服务 归根 结 底 还 是 为 企业 运营 服务 的 ， 
是 为 了 提升 企业 在 建设 、 市 场 营销 、 产 品 销售 、 客 户 服务 、 企 业 管理 等 方面 的 能 力 。 

大 数据 服务 在 设计 阶段 的 过 程 包括 服务 目录 管理 、 容 量 管理 、 可 用 性 管理 、 信 息 安 全 
管理 、 供 应 商 管理 等 。 


3.6.1 大 数据 服务 目录 管理 


服务 目录 相当 于 饭店 里 点 菜 的 菜单 ， 用 户 通 过 服务 目录 可 以 看 到 有 哪些 服务 ， 管 理 者 
也 可 以 通过 服务 查看 服务 所 依赖 的 资源 ， 进 而 可 以 算出 服务 的 成 本 效益 。 

随 着 大 数据 服务 数量 的 增多 ， 需 要 对 其 进行 分 级 分 类 管理 ， 以 便 能 够 快速 地 检索 和 定 
位 大 数据 服务 。 同 样 ， 大 数据 服务 也 会 不 断 优化 完善 ， 因 此 需要 对 大 数据 服务 增加 版 本 标 
签 的 方式 予以 区 分 。 

大 数据 服务 目录 可 以 按照 大 数据 服务 支撑 的 业务 应 用 进行 分 类 组 织 ， 比 如 一 级 大 数据 
服务 可 以 分 为 投资 建设 类 、 市 场 经 营 类 、 资 源 运营 类 、 行 政 综合 类 和 企业 管理 类 。 可 以 在 
一 级 基础 上 进一步 细 分 ， 比 如 市 场 经 营 类 可 以 细 分 为 市 场 营销 、 销 售 、 客 户 服务 和 计 费 收 
费 。 按 照 这 种 分 类 方式 ， 可 以 明确 大 数据 服务 支撑 的 业务 应 用 所 在 的 位 置 ， 可 以 让 使 用 者 
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更 高 效 地 找到 大 数据 服务 。 比 如 ， 某 大 数据 服务 的 目标 就 是 支持 企业 的 网 络 规划 设计 ， 那 
么 就 应 当 在 投资 建设 类 中 查找 满足 这 一 要 求 的 大 数据 服务 。 


3.6.2 大 数据 服务 容量 管理 


容量 是 组 织 的 IT 资源 提供 服务 能 力 的 吞吐 量 。IT 资源 所 提供 的 容量 衡量 指标 包括 支 
持 的 最 大 并 发 用 户 数 ， 最 大 在 线 用 户 数 ， 服 务 器 最 大 计算 能 力 ， 最 大 存储 空间 ， 最 大 网 络 
出 口 带 宽 等 。 

容量 管理 不 仅 对 于 IT 服务 设计 重要 ， 对 于 大 数据 服务 设计 仍然 非常 重要 。 

大 数据 服务 通常 以 三 种 形式 提供 ， 不 同类 型 的 大 数据 服务 对 于 容量 的 需求 是 不 同 的 。 

第 一 类 是 支持 操作 决策 的 大 数据 服务 ， 这 样 的 大 数据 服务 需要 嵌入 生产 型 过 程 中 ， 用 
户 在 使 用 生产 型 应 用 的 过 程 中 同样 会 调用 大 数据 服务 ， 因 此 要 求 大 数据 服务 能 够 提供 保证 
业务 连续 性 的 能 力 。 这 种 类 型 的 大 数据 服务 与 面向 操作 的 事务 型 应 用 对 于 容量 的 需求 类 似 ， 
因此 对 该 类 大 数据 服务 进行 容量 设计 时 ， 可 以 把 其 当 作 事务 型 服务 看 待 。 

第 二 类 大 数据 服务 属于 统计 分 析 型 ， 该 类 大 数据 服务 更 多 是 为 了 满足 企业 中 层 管理 人 
员 统 计 某 个 时 间 段 的 数据 ， 比 如 统计 某 个 季度 的 产品 销售 数据 、 某 个 年 度 的 现金 流量 等 ， 
辅助 管理 人 员 发 现 生 产 经 营 中 存在 的 问题 ， 由 于 这 样 的 大 数据 服务 并 不 柑 入 生产 型 应 用 之 
中 ， 因 此 对 于 实时 性 要 求 没有 那么 高 ， 对 该 类 大 数据 服务 进行 容量 设计 时 ， 主 要 考虑 特定 
时 间 段 的 容量 需求 ， 比 如 月 初 月 末 。 

第 三 类 大 数据 服务 主要 面向 企业 的 高 层 战 略 管理 人 员 ， 比 如 企业 的 总 经 理 、 战 略 规划 
师 等 ， 这 样 的 人 员 通 常 关注 半年 以 上 的 中 长 期 规划 ， 需 要 借助 大 数据 服务 掌握 市 场 情况 、 
与 竞争 对 手 之 间 的 差距 等 ， 这 样 的 大 数据 服务 对 于 响应 时 间 通 常 要 求 不 高 ， 更 关注 数据 背 
后 隐藏 的 规律 ， 设 计 重点 为 决策 模型 ， 由 于 该 类 大 数据 服务 往往 需要 以 多 年 的 历史 数据 为 
分 析 基 础 ， 因 此 可 以 考虑 采用 基于 云 架 构 的 基础 设施 ， 以 便 弹 性 地 适应 不 断 增长 的 支撑 能 
力 需求 。 


3.6.3 ”大 数据 服务 供应 商 管理 


在 大 数据 时 代 ， 数 据 成 为 企业 的 核心 资产 ， 而 由 于 社会 的 专业 化 分 工 ， 数 据 也 势必 分 
散在 不 同 的 企业 之 中 。 大 数据 服务 与 企业 其 他 原材料 一 样 ， 如果 不 能 保证 及 时 准确 地 提供 ， 
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将 会 降低 大 数据 服务 的 能 力 。 可见, 对 于 大 数据 服务 的 供应 商 进行 有 效 管 理 同样 非常 重要 。 
企业 引入 大 数据 服务 与 企业 引入 生产 型 服务 一 样 ， 需 要 进行 有 效 的 管理 。 比 如 大 数据 

服务 供应 商 的 准 入 和 退出 管理 、 服 务 质 量 管理 、 服 务 绩效 管理 等 。 供 应 商 管理 的 目的 是 企 

业 能 够 及 时 、 有 效 地 获取 到 满足 要 求 的 大 数据 服务 , 包括 数据 提供 的 时 效 性 、 数 据 质量 等 。 
供应 商 的 准 入 管理 主要 对 供应 商 大 数据 服务 提供 能 力 的 要 求 ， 降 低 大 数据 服务 提供 风 

险 ， 企 业 可 以 通过 与 供应 商 签署 大 数据 服务 供应 合同 ， 从 法 律 上 保证 因 供应 商 不 能 按照 要 

求 提 供 服务 带 来 的 损失 ， 降 低 企业 生产 和 经 营 风 险 。 以 定期 对 供应 商 提供 的 大 数据 服务 进 

行 考核 评价 作为 大 数据 服务 是 否 退 出 的 依据 。 


3.6.4 ”大 数据 服务 安全 管理 


将 大 数据 看 作 企 业 核 心 资产 的 同时 ， 也 就 意味 着 数据 在 企业 中 有 着 非 同一 般 的 价值 和 
作用 。 此 外 ， 大 数据 还 有 不 同 于 企业 其 他 资产 的 独特 性 ， 比 如 企业 的 客户 数据 会 涉及 个 人 
或 者 企业 的 隐私 ， 可 能 会 涉及 企业 的 商业 秘密 。 

为 了 保证 大 数据 服务 的 安全 性 ， 需 要 从 以 下 三 个 方面 做 起 。 第 一 是 保证 数据 不 会 被 非 
法 获取 ， 企 业 可 以 通过 权限 控制 机 制 实现 认证 和 授权 。 第 二 是 当 企业 或 个 人 使 用 数据 时 ， 
要 进行 数据 使 用 记录 ,保留 “痕迹 ”， 为 审计 工作 做 好 准备 。 第 三 是 数据 的 对 外 提供 采用 匿 
名 或 者 统计 数据 的 方式 ， 保 证 数据 使 用 方 不 会 看 到 真实 的 个 体 数 据 ， 如 果 确 实 需 要 则 可 以 
采用 审批 和 合约 的 方式 ， 在 法 律 制度 上 对 数据 予以 保护 ， 要 严惩 违法 者 。 


3.6.5 ”大 数据 服务 等 级 管理 


服务 等 级 是 大 数据 服务 的 用 户 和 大 数据 服务 的 提供 者 之 间 的 共同 约定 ， 大 数据 服务 的 
提供 者 需要 按照 约定 的 服务 等 级 来 提供 服务 。 

当 大 数据 服务 提供 方 并 没有 按照 约定 的 服务 等 级 提供 服务 时 ， 需 要 进行 服务 能 力 提 
升 ， 以 保证 按照 约定 的 服务 等 级 提供 服务 。 比 如 ， 服 务 等 级 中 约定 用 户 从 提交 大 数据 服务 
请 求 到 服务 响应 的 时 间 为 3 秒 钟 以 内 ， 如 果 用 户 实 际 使 用 过 程 中 没有 满足 这 样 的 服务 等 级 
要 求 ， 大 数据 服务 提供 方 则 需要 确认 信息 系统 的 容量 设计 是 否 存在 问题 ， 如 果 存 在 问题 ， 
则 可 以 通过 扩容 大 数据 服务 基础 设施 容量 的 方式 来 满足 性 能 要 求 。 当 然 ， 在 大 数据 服务 提 
供 方 没有 为 用 户 提供 相应 等 级 的 服务 时 ， 大 数据 服务 提供 方 应 当 给 予 使 用 方 一 定 的 经 济 
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补偿 。 
服务 等 级 除了 在 系统 响应 性 能 方面 的 要 求 外 ， 主 要 还 是 大 数据 服务 提供 的 数据 质量 是 
和 否 能 够 满足 要 求 。 例 如 ， 数 据 完 整 性 和 数据 准确 性 应 当 保证 超过 合同 约定 的 百分比 。 应 当 
预先 建立 双方 都 能 认可 的 数据 质量 验证 方法 。 


3.6.6 ”大 数据 服务 可 用 性 管理 


服务 的 可 用 性 直接 关系 到 用 户 的 体验 。 如 果 用 户 体验 好 ， 则 会 提高 用 户 的 办 事 效 率 ， 
反之 则 有 可 能 导致 用 户 的 流失 并 减少 企业 收入 ， 可 见 可 用 性 管理 是 非常 重要 的 。 

大 数据 服务 分 为 三 类 : 嵌入 生产 过 程 中 的 服务 、 提 供 决策 参考 的 服务 以 及 提供 趋势 预 
测 的 服务 ， 以 上 三 类 大 数据 服务 对 于 可 用 性 的 要 求 是 有 差别 的 。 

对 于 嵌入 生产 过 程 中 的 大 数据 服务 ， 需 要 保证 高 可 用 性 ， 否 则 会 因为 无 法 及 时 做 出 决 
策 而 影响 企业 的 生产 经 营 ， 比 如 某 银行 的 贷款 业务 流程 中 集成 了 信用 评估 服务 ， 而 信用 评 
佑 服务 就 是 一 个 大 数据 服务 ， 只 有 当 信 用 评估 大 数据 服务 输出 客户 的 风险 敞 口 后 ， 才 能 确 
定 是 否 能 够 为 客户 提供 贷款 以 及 贷款 额度 ， 如 果 信 用 评估 大 数据 服务 不 可 用 ， 则 会 延长 用 
户 获得 贷款 的 时 间 ， 从 而 降低 银行 贷款 业务 的 办 理 效率 ， 甚 至 导致 客户 的 流失 。 

比较 而 言 ， 提 供 决策 参考 的 大 数据 服务 和 提供 趋势 预测 的 大 数据 服务 ， 对 于 响应 的 实 
时 性 要 求 相 对 较 低 ， 因 此 对 大 数据 服务 的 可 用 性 要 求 相 对 也 较 低 。 当 然 ， 它 们 对 于 可 用 性 
的 要 求 也 需要 根据 具体 情况 来 判断 ， 如 果 企 业 应 付 突 发 和 紧急 情况 ， 这 时 候 对 以 上 两 类 大 
数据 服务 的 可 用 性 要 求 也 是 非常 高 的 ， 如 果 大 数据 服务 不 可 用 ， 则 会 为 企业 带 来 很 大 的 损 
失 ， 原 因 是 大 数据 服务 的 不 可 用 影响 到 组 织 的 决策 效率 ， 错 失 了 调整 经 营 策略 的 好 时 机 。 

可 见 ， 大 数据 服务 可 用 性 对 于 企业 的 生产 经 营 都 是 非常 重要 的 ， 需 要 通过 可 用 性 管理 
的 方法 和 手段 来 保证 大 数据 服务 具有 较 高 的 可 用 性 。 

实现 大 数据 服务 高 可 用 性 的 方法 分 为 两 种 类 型 :被动 型 和 主动 型 。 

被 动 型 方法 是 要 求 系统 对 于 大 数据 服务 的 运行 情况 进行 实时 监控 ， 根 据 监控 结果 进行 
量度 和 分 析 ， 并 通过 报表 形式 展现 分 析 结 果 ， 根 据 分 析 结 果 来 定位 和 解决 影响 大 数据 服务 
可 用 性 的 故障 点 。 

主动 型 方法 是 采集 用 户 使 用 和 系统 运行 数据 进行 主动 分 析 ， 预 测 可 能 影响 大 数据 服务 
可 用 性 相关 的 问题 ， 提 前 优化 和 完善 ， 防 患 于 未 然 。 
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3.6.7 ”大 数据 服务 连续 性 管理 


顾名思义 ， 服 务 连续 性 管理 就 是 保证 服务 不 间断 。 对 于 面向 操作 的 事务 型 应 用 ， 服 务 
的 连续 性 是 服务 质量 的 重要 考量 指标 ， 当 服务 出 现 故 障 后 应 当 尽快 发 现 和 解决 问题 ， 服 务 
恢复 时 间 的 长 短 体现 了 服务 连续 性 管理 水 平 的 高 低 。 

对 于 大 数据 服务 而 言 ， 与 生产 流程 结合 紧密 的 大 数据 服务 的 连续 性 是 需要 重点 考虑 的 
类 型 。 对 于 其 他 类 型 的 大 数据 服务 ， 应 该 重点 保障 数据 采集 服务 的 连续 性 ， 因 为 如 果 数 据 
采集 失败 就 意味 着 大 数据 服务 依赖 的 数据 样本 减少 ， 进 而 影响 到 数据 分 析 的 结果 。 


3.7 大 数据 服务 组 织 设 计 : 分 工 不 分 家 


按照 专业 化 分 工 和 关注 点 分 离 的 原则 ， 大 数据 服务 业务 分 析 师 和 大 数据 服务 系统 架构 师 是 两 个 
非常 重要 的 角色 。 


在 大 数据 服务 设计 阶段 ， 需 要 的 角色 主要 包括 大 数据 服务 业务 分 析 师 和 大 数据 服务 系 
统 架构 师 。 

大 数据 服务 业务 分 析 师 的 职责 是 关注 大 数据 服务 如 何 满足 业务 需要 ， 如 何 提升 企业 在 
战略 管理 、 建 设 管理 以 及 运营 管理 方面 的 能 力 。 

大 数据 服务 系统 架构 师 的 职责 是 关注 大 数据 服务 如 何 落地 ， 采 用 哪 种 架构 方式 ， 需 要 
多 少 基础 设施 资源 等 。 


3.7.1 大 数据 服务 业务 分 析 师 


业务 分 析 师 负责 大 数据 服务 的 发 现 、 定 义 以 及 业务 测试 。 大 数据 业务 分 析 师 基于 可 以 
获取 的 大 数据 资源 ， 结 合 企业 过 程 框架 ， 来 发 现 什么 样 的 大 数据 服务 可 以 支持 企业 更 好 地 
完成 战略 、 建 设 以 及 运营 工作 。 大 数据 业务 分 析 师 的 职责 包括 : 

(1) 发 现 可 能 为 企业 构建 大 数据 服务 的 数据 源 ; 

(2) 基于 各 种 数据 源 ， 结 合 企业 过 程 框架 ， 发 现 和 定义 大 数据 服务 ; 
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(3) 对 大 数据 服务 进行 测试 ， 验 证 其 是 否 能 够 支持 企业 战略 、 建 设 和 运营 。 
3.7.2 ”大 数据 服务 系统 架构 师 


大 数据 服务 系统 架构 师 负责 基于 先进 适用 技术 ， 完 成 对 大 数据 业务 分 析 师 定义 的 大 数 
据 服 务 的 设计 方案 。 

在 大 数据 服务 创意 到 大 数据 服务 实现 之 间 ， 大 数据 服务 系统 架构 师 起 到 桥梁 和 纽带 的 
关键 作用 。 大 数据 服务 系统 架构 师 需 要 对 于 大 数据 技术 非常 了 解 ， 同 时 对 于 大 数据 服务 也 
有 深刻 的 理解 。 大 数据 服务 系统 架构 师 的 职责 包括 : 

(1) 对 大 数据 服务 进行 架构 设计 ， 包 括 技 术 架 构 、 功 能 架构 、 集 成 架构 等 方面 的 设计 ; 

(2) 根据 大 数据 服务 需求 ， 结 合 各 种 大 数据 相关 技术 ， 对 大 数据 服务 进行 原型 设计 和 
实现 ; 

(3) 跟踪 大 数据 相关 的 各 种 技术 ， 大 规模 海量 数据 要 求 大 数据 技术 能 够 满足 数据 处 理 
的 高 效 性 ， 同 时 也 要 求 借 助 适 用 的 大 数据 技术 ， 从 多 种 类 型 的 数据 之 中 发 现 更 大 的 价值 。 


3.8 主要 内 容 回 顾 


“孕育 ”意味 着 埋 下 一 颗 希望 的 种 子 ， 要 想 让 这 个 “种 子 ” 满 足 预期 要 求 ， 必 须 从 全 
局 和 长 远 考 虑 ， 对 于 设计 大 数据 服务 这 颗 高 科技 “种 子 ” 还 应 当 具备 正确 的 思维 方式 ， 具 
备 面向 服务 、 面 向 过 程 、 全 生命 周期 、 数 据 即 资产 的 观念 ， 将 大 数据 作为 服务 或 者 产品 
对 待 ， 以 价值 创造 为 衡量 大 数据 服务 的 原则 ， 整 合 企业 内 部 及 社会 数据 ， 充 分 挖掘 大 数据 
的 潜力 。 

不 同 于 面向 操作 的 事务 型 应 用 ， 大 数据 服务 更 多 的 是 一 个 探索 发 现 的 过 程 ， 对 于 已 经 
发 现 规律 并 模型 化 的 大 数据 服务 ， 可 以 构建 数据 模型 并 嵌入 事务 型 应 用 的 过 程 环节 中 ， 比 
如 银行 对 于 个 人 客户 的 授信 服务 ， 可 以 构建 授信 模型 ， 通 过 收集 个 人 客户 相关 数据 计算 客 
户 风险 敞 口 ， 实 现 客户 贷款 过 程 中 的 快速 授信 。 

在 很 多 情况 下 ， 大 数据 服务 是 一 个 探索 发 现 的 过 程 ， 即 通过 不 断 地 尝试 ， 发 现 数据 之 
间 的 规律 。 因 此 对 于 大 数据 服务 ， 应 当 采 取 快 速 欠 代 、 螺 旋 上 升 的 开发 模式 ， 通 过 不 断 调 
整 和 优化 数据 模型 和 算法 ， 达 到 大 数据 掘 金 的 目的 。 
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大 数据 服务 是 先 有 “ 数 ” 后 有 “ 求 ” 的 ， 因 此 应 当 首 先 对 大 数据 的 潜在 能 力 进行 分 析 。 

比如 当 有 具备 移动 用 户 上 网 记录 大 数据 后 ， 参 考 移动 用 户 上 网 记录 大 数据 的 元 数据 ， 发 现 移 
动用 户 上 网 记录 中 包含 用 户 数据 终端、 号 码 、 卫 等 )、 应 用 数据 (域名 、IP 等 ) 以 及 网 
络 数据 〈 位 置 区 、 小 区 、 网 络 类 型 、 流 量 、 时 长 、 经 纬度 等 )， 从 而 确定 借助 通信 大 数据 ， 
可 以 具备 “再 现 ”移动 用 户 的 上 网 行为 的 能 力 。 
对 于 “ 求 ” 可 以 分 析 一 下 可 能 有 哪些 需求 。 还 是 以 移动 用 户 上 网 记录 大 数据 为 例 ， 
网 络 规划 设计 是 对 网 络 建设 进行 决策 ， 那 么 需求 就 是 如 何 完成 无 线 网 络 的 规划 设计 ， 比 如 
在 哪里 建设 ， 在 哪里 需要 扩容 ， 建 设 或 者 扩容 的 规模 有 多 大 等 。 有 了 移动 用 户 上 网 记录 大 
数据 ， 就 可 以 基于 用 户 价值 和 应 用 价值 完成 无 线 网 络 的 规划 设计 了 。 

大 数据 服务 架构 设计 是 通过 制定 大 数据 服务 参考 框架 ， 理 清 大 数据 服务 在 不 同 阶段 、 
不 同 层次 上 的 关注 点 以 及 这 些 关注 点 之 间 的 关系 。 

大 数据 服务 模型 设计 关注 面向 操作 和 面向 主题 的 数据 模型 设计 ， 通 过 数据 模型 的 构 
建 ， 解 决 大 数据 承载 、 数 据 分 析 以 及 数据 展现 问题 。 

如 果 说 数据 是 大 数据 服务 构建 的 基础 ， 那 么 数据 模型 则 是 大 数据 服务 实现 的 载体 ， 数 
据 模型 的 设计 对 于 大 数据 服务 至 关 重 要 。 通 过 分 析 大 数据 服务 从 操作 型 数据 模型 到 分 析 型 
数据 模型 的 渐进 过 程 ， 通 过 清晰 地 看 到 数据 模型 从 操作 环境 到 分 析 环 境 发 展 的 变化 ， 加 深 
对 数据 模型 的 认识 。 

大 数据 服务 容量 设计 则 是 关注 如 何 规划 和 监控 大 数据 服务 基础 设施 资源 需求 ， 以 最 佳 
成 本 效益 的 方式 完成 大 数据 基础 设施 能 力 的 设计 。 

数据 通常 要 经 过 采集 、 存 储 、 整 合 、 分 析 、 展 示 、 归 档 、 销 毁 的 过 程 。 从 大 数据 的 价 
值 角度 看 ， 那 些 活性 高 ， 频 繁 使 用 的 数据 ， 通 常 具 有 较 长 的 生命 周期 ， 反 之 ， 那 些 很 少 被 
使 用 的 数据 , 尽管 由 于 法 律 法 规 要 求 需要 保留 较 长 的 时 间 , 但 是 其 应 当 “ 离 休 ”, 迁移 到 “ 非 
活动 ”区 域 。 

从 成 本 角度 看 ， 应 当 综 合 大 数据 活性 、 价 值 、 法 律 法 规 要 求 等 对 数据 进行 分 级 存储 ， 
实现 成 本 效益 的 最 大 化 。 比 如 , 经常 使 用 的 数据 放 在 价格 高 但 是 访问 速度 快 的 缓存 、 内 存 、 
磁盘 中 ， 而 将 那些 偶尔 访问 的 数据 放 在 廉价 的 磁盘 、 光 盘 等 存储 介质 中 ， 对 于 访问 频率 极 
低 甚至 很 长 一 段 时 间 〈 比 如 3 年 ) 没有 访问 的 数据 ， 应 转移 到 价格 更 低 的 磁带 介质 中 。 

通过 对 大 数据 活性 、 价 值 、 法 律 法 规 的 观察 ， 将 数据 存储 到 不 同 的 存储 纸 质 上 ， 即 提 
高 了 数据 访问 的 效率 ， 也 降低 了 大 数据 存储 成 本 。 对 于 那些 已 经 确定 不 用 的 或 者 按照 存储 
要 求 到 期 的 数据 ， 通 过 审批 机 制 进行 数据 销毁 。 
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大 数据 服务 过 程 设计 的 目的 是 保证 大 数据 服务 能 够 得 到 有 效 的 管理 。 大 数据 服务 过 程 
设计 主要 包括 大 数据 服务 目录 管理 、 容 量 管理 、 供 应 商 管理 以 及 安全 管理 四 个 方面 。 

目录 管理 过 程 保证 大 数据 服务 能 够 得 到 最 大 程度 的 共享 和 使 用 ， 消 除 企业 内 部 大 数据 
服务 能 力 交 又 和 重 双 的 现象 ， 企 业 在 形成 大 数据 服务 之 前 ， 需 要 查看 是 否 已 经 具备 类 似 的 
大 数据 服务 ， 尽 量 重用 现 有 的 大 数据 服务 。 

容量 管理 过 程 保证 大 数据 服务 拥有 足够 的 、 最 佳 成 本 效益 的 基础 设施 资源 ， 包 括 存储 
空间 、 计 算 能 力 以 及 网 络 传输 带宽 。 企 业 可 以 基于 大 数据 访问 活跃 度 、 法 律 法 规 要 求 等 完 
成 数据 的 迁移 、 归 档 、 销 毁 等 任务 。 

供应 商 管理 过 程 用 于 保证 数据 源 的 质量 和 及 时 性 。 大 数据 时 代 ， 组 织 势必 会 引入 多 个 
供应 商 的 数据 ， 供 应 商 提供 数据 的 质量 和 及 时 性 关乎 组 织 的 数据 分 析 能 力 ， 企 业 应 当 建立 
对 供应 商 数据 质量 的 评价 方法 和 制度 ， 保 证 数据 的 准确 性 。 供 应 商 提供 数据 的 及 时 性 对 组 
织 大 数据 服务 生产 效率 影响 很 大 ， 同 样 是 需要 保障 的 重要 因素 。 

安全 管理 过 程 保证 大 数据 的 合 规 性 ， 组 织 的 大 数据 往往 是 个 人 和 组 织 在 生产 生活 中 留 
下 的 “痕迹 ”因此 组 织 对 隐私 侵犯 和 商业 秘密 侵犯 的 分 析 和 管理 , 成 为 大 数据 服务 “开放 ” 
或 者 “封闭 ”的 重要 依据 ， 组 织 可 以 通过 匿名 、 审 批 、 统 计数 据 提 供 等 方式 规避 隐私 侵犯 
和 商业 秘密 侵犯 问题 。 

大 数据 服务 组 织 设计 在 大 数据 服务 的 构建 过 程 中 起 到 了 非常 重要 的 作用 。 由 于 大 数据 
服务 通常 是 在 探索 中 发 现 的 ， 因 此 要 求 大 数据 服务 设计 人 员 具 有 关于 问题 域 很 强 的 专业 背 
景 甚至 多 行业 知识 背景 。 

按照 专业 化 分 工 和 关注 点 分 离 的 原则 ， 大 数据 服务 设计 阶段 主要 考虑 两 种 角色 : 大 数 
据 服务 业务 分 析 师 和 大 数据 服务 系统 架构 师 。 

大 数据 服务 业务 分 析 师 主要 关注 专业 领域 分 析 模 型 的 构建 ， 这 个 角色 要 求 具 有 很 强 的 
行业 知识 ， 能 够 根据 组 织 决策 需求 进行 建 模 ， 能 够 使 用 数据 建 模 和 数据 分 析 软 件 和 工具 完 
成 分 析 模型 的 构建 、 优 化 、 展 现 工作 。 

大 数据 服务 系统 架构 师 关注 大 数据 服务 基础 设施 的 架构 ， 包 括 存储 架构 、 计 算 架 构 以 
及 网 络 架构 ， 保 证 大 数据 服务 具有 可 用 的 基础 设施 资源 ， 负 责 监 控 数据 的 活动 情况 ， 根 据 
大 数据 服务 需求 进行 数据 迁移 或 者 增加 大 数据 服务 基础 设施 资源 ， 满 足 大 数据 分 析 的 性 能 
需求 和 存储 空间 需求 。 
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分 娩 : 从 幕后 到 台 前 的 华丽 转身 


“十 月 怀胎 ， 一 朝 分 娩 ” 大 数据 服务 经 过 漫长 的 “孕育 ”阶段 ， 在 母体 中 逐步 发 育 ， 

一 个 待产 的 “婴儿 ” 但 是 这 个 “婴儿 ”要 从 母体 降临 到 人 间 ， 还 需要 经 历 一 个 “分 娩 ” 
过 程 。 

对 于 大 数据 服务 这 个 “待产 婴儿 “而 言 ， 能 否 符 合用 户 要 求 ， 能 否 实 现 从 幕后 到 台 前 
的 华丽 转身 ， 还 需要 经 过 一 个 痛苦 的 、 充 满 期 待 的 过 程 。 

大 数据 服务 要 完成 从 开发 测试 环境 生产 环境 的 转换 ， 需 要 经 历 集成 测试 、 系 统 测试 、 
用 户 接受 测试 、 系 统 部 署 、 编 制 文档 、 用 户 培训 这 几 个 阶段 。 

集成 测试 、 系 统 测试 、 用 户 接受 测试 的 前 提 是 大 数据 服务 从 开发 环境 部 署 到 测试 环境 。 
集成 测试 主要 完成 大 数据 各 个 部 分 之 间 的 接口 测试 ， 比 如 ETL 系统 、 分 析 系 统 、 展 示 系 统 
之 间 的 集成 测试 。 系 统 测 试 是 从 整体 上 对 大 数据 服务 进行 测试 ， 分 为 功能 性 测试 和 非 功能 
性 测试 ， 比 如 系统 设计 阶段 的 系统 功能 点 是 否 符合 设计 要 求 ， 系 统 性 能 、 可 靠 性 、 可 用 性 、 
扩展 性 、 安 全 性 方面 是 否 满足 设计 要 求 等 。 测 试 阶 段 通常 是 从 数据 仓库 中 提取 一 部 分 数据 
作为 测试 数据 ， 因 此 测试 阶段 通常 仅仅 是 在 一 定 程度 上 对 大 数据 服务 进行 验证 。 尽 量 采用 
脚本 完成 系统 的 模拟 测试 ， 减 少 因 为 人 为 随机 输入 引起 的 错误 。 

用 户 接受 测试 主要 是 找 出 一 部 分 大 数据 服务 的 用 户 参 与 测试 ， 因 为 这 些 用 户 是 了 解 业 
务 的 ， 会 从 业务 视角 出 发 审视 大 数据 服务 ， 因 此 会 比 开 发 和 测试 人 员 更 能 够 发 现 大 数据 服 
务 存在 的 问题 。 通 过 让 用 户 在 测试 阶段 试用 大 数据 服务 ， 可 以 提前 发 现 大 数据 服务 中 存在 
的 问题 ， 降 低 项 目 风 险 。 

当 完 成 集成 测试 、 系 统 测试 、 用 户 接受 测试 以 后 ， 需 要 将 大 数据 服务 从 测试 环境 迁移 
到 生产 环境 。 在 此 阶段 ， 需 要 编制 文档 和 用 户 培训 工作 。 

编制 文档 一 方面 可 以 备查 ， 另 一 方面 也 便于 各 参与 方 沟通 交流 。 文 档 可 以 分 为 核心 和 
外 围 两 种 类 型 。 核 心 文档 主要 为 元 数据 定义 文档 ， 包 括 表 结 构 、 Wt 视图 、 触 发 器 、 
功能 等 的 定义 。 外 围 文档 包括 大 数据 服务 使 用 说 明 书 、 用 户 培训 PPT 等 。 
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户 培训 的 目的 是 教会 用 户 如 何 使 用 大 数据 服务 的 功能 。 培 训 用 户 的 人 员 最 好 是 负责 
大 数据 服务 展示 的 人 员 ， 因 为 负责 大 数据 服务 展示 的 人 员 更 了 解 大 数据 服务 的 功能 如 何 使 
用 。 大 数据 服务 功能 展示 设计 的 特点 之 一 就 是 要 便于 用 户 从 多 个 维度 观察 ， 发 现 数据 背后 
隐藏 的 规律 ， 因 此 培训 材料 要 让 用 户 掌握 从 多 个 维度 来 查看 数据 分 析 结 果 的 方法 。 

此 外 ， 系 统 安全 管理 也 是 大 数据 服务 转换 阶段 需要 重点 测试 的 ， 要 保证 不 同 的 大 数据 
服务 能 够 按照 预先 设 定 的 数据 权限 使 用 数据 。 在 应 用 层面 ， 要 完成 系统 的 账户 管理 、 认 证 
管理 、 授 权 管 理 和 审计 管理 ， 完 成 用 户 、 组 织 、 岗 位 、 角 色 、 权 限 的 影射 和 维护 。 

需要 转换 的 大 数据 服务 包括 两 种 类 型 ;新 的 大 数据 服务 和 变更 的 大 数据 服务 ， 不 同类 
型 的 大 数据 服务 在 转换 方法 和 过 程 上 是 不 同 的 。 

本 章 内 容 思 维 导 图 如 下 所 示 : 


企业 需要 综合 权衡 转换 成 本 与 收益 ， 转 换 速度 与 风险 ， 保 证 大 数据 服务 的 连续 性 


尽 可 能 重用 成 熟 稳定 的 已 有 大 数据 服务 ， 降 低 大 数据 服务 的 转换 风险 
| 
人 lain ET 
大 数 拓 了 务 半 措 涉及 多 个 参与 方 ， 需要 通过 沟通 保证 参与 方 之 问 的 信息 共享 


需要 做 好 大 数据 服务 构建 、 打 包 、 测 试 以 及 发 布 的 计划 ， 保 证 各 个 环节 的 顺利 进行 
大 数据 服务 变更 可 能 由 事件 或 者 故障 引起 ， 也 可 能 来 源 于 业务 需求 变化 

资源 之 间 的 配置 关系 是 大 数据 服务 转换 的 基础 数据 ， 是 保证 服务 转换 成 功 的 关键 
发 布 与 部 署 管理 过 程 负责 大 数据 服务 安装 到 指定 的 节点 上 ， 通 常 采 用 脚本 方式 实现 


大 数据 服务 配置 管理 员 负 责 维护 资源 配置 项 之 间 的 连接 关系 


人 大 数据 服务 转换 组 织 保障 大 数据 服务 部 署 管理 员 负责 将 大 数据 服务 部 署 到 不 同 的 终端 和 平台 
大 数据 服务 测试 管理 员 负责 完成 集成 测试 和 系统 测试 、 功 能 性 和 非 功能 性 测试 


人 O 大 数据 服务 转换 过 程 设计 上 
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4.1 大 数据 服务 转换 原则 


大 数据 服务 转换 充满 了 期 待 又 存在 着 风险 和 挑战 ， 需 要 综合 权衡 转换 成 本 与 收益 、 转 换 速 度 与 
风险 。 


大 数据 服务 转换 既 充 满 了 期 待 又 存在 着 风险 和 挑战 ， 如 果 没 有 正确 的 转换 策略 和 原则 
作为 指导 ， 那 么 大 数据 服务 转换 很 可 能 会 失败 。 

大 数据 服务 转换 需要 综合 权衡 转换 成 本 与 收益 、 转 换 速 度 与 风险 。 对 于 新 的 或 者 变更 
的 需求 ， 如 果 要 使 转换 成 果 带 来 的 成 本 大 于 收益 ， 则 应 当 重 新 考虑 是 否 进行 大 数据 服务 转 
换 。 同 样 ， 如 果 大 数据 服务 没有 充足 的 转换 时 间 ， 则 会 因为 没有 进行 充分 的 分 析 和 设计 而 
产生 大 数据 服务 不 可 用 的 风险 。 

为 了 保证 大 数据 服务 能 够 成 功 转换 ， 需 要 有 几 个 关键 原则 作为 指导 : 最 大 复 用 原则 、 
服务 转换 计划 与 业务 需求 保持 一 致 原则 、 与 干系 人 保持 良好 沟通 原则 。 


1. 最 大 复 用 原则 


大 数据 服务 转换 会 存在 风险 ， 如 果 服 务 转换 失败 会 给 企业 带 来 损失 ， 因 此 大 数据 服务 
转换 尽 可 能 使 用 已 有 的 过 程 和 系统 ， 开 发 大 数据 服务 复 用 规范 以 及 引入 行业 最 佳 实践 ， 以 
提高 服务 转换 的 成 功率 。 

最 大 复 用 原则 既 可 以 保证 大 数据 服务 转换 的 效率 ， 又 可 以 通过 引入 经 过 实践 检验 的 、 
高 质量 的 转换 过 程 而 提高 转换 的 成 功率 ， 企 业 尽 可 能 借鉴 企业 或 外 部 第 三 方 已 有 的 大 数据 
服务 转换 经 验 ， 包 括 软 件 代 码 、 转 换 脚 本 等 。 

2. 服务 转换 计划 与 业务 需求 保持 一 致 原则 

业务 需求 是 用 户 价值 的 体现 ， 因 此 需要 将 服务 转换 计划 与 业务 需求 保持 一 致 ， 否 则 服 
务 转换 是 没有 价值 的 。 

与 业务 需求 保持 一 致 原则 强调 业务 需求 作为 大 数据 服务 转换 的 重要 前 提 条 件 。 无 论 开 
发 面向 操作 的 事务 型 应 用 还 是 面向 决策 的 分 析 型 应 用 ， 业 务 需求 始终 是 系统 努力 的 方向 和 
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目标 , 越 早 地 发 现 业务 需求 存在 的 问题 ， 就 能 够 越 早 地 发 现 和 降低 大 数据 服务 转换 的 风险 。 
3. 与 干系 人 保持 良好 沟通 原则 


与 大 数据 服务 干系 人 保持 良好 的 沟通 同样 非常 重要 。 大 数据 服务 必须 满足 干系 人 的 需 
要 才能 体现 其 价值 ， 如 果 客 户 、 用 户 等 干系 人 没有 很 好 地 理解 新 增 或 者 变更 的 大 数据 服务 
对 他 造成 的 变化 ， 会 降低 大 数据 服务 转换 的 成 功率 ， 因 此 需要 与 干系 人 及 时 地 沟通 ， 还 要 
保障 干系 人 能 够 及 时 获取 到 所 需 的 相关 文档 ， 如 大 数据 服务 操作 手册 等 。 

大 数据 服务 是 多 个 干系 人 共同 参与 完成 的 ， 包 括 业 务 用 户 、 大 数据 服务 分 析 师 、 大 数 
据 服务 架构 师 、 大 数据 服务 部 署 工程 师 、 大 数据 服务 测试 工程 师 等 ， 如 果 不 同 角色 的 人 员 
获取 的 信息 不 对 称 ， 就 难以 保障 大 数据 服务 能 够 成 功 转换 。 

采用 行业 最 佳 实践 计划 并 管理 在 打包 、 部 署 、 测 试 以 及 发 布 阶段 所 需 的 资源 ， 保 证 按 
照 预期 的 成 本 、 质 量 以 及 时 间 将 大 数据 服务 成 功 转 换 到 正常 运营 状态 。 

此 外 ， 企 业 还 需要 对 客户 、 用 户 等 干系 人 进行 培训 ， 以 便 其 能 够 更 好 地 使 用 大 数据 服 
务 。 在 大 数据 服务 未 正式 运营 之 前 ， 监 控 并 量度 大 数据 服务 的 使 用 效果 并 与 预期 效果 进行 
对 比 ， 及 时 发 现 大 数据 服务 存在 的 问题 并 进行 改进 完善 。 


4.2 大 数据 服务 转换 过 程 


大 数据 服务 转换 过 程 包括 转换 计划 、 变 更 管理 、 资 产 与 配置 管理 、 发 布 与 部 署 管理 、 验 证 与 测 
试 、 评 估 以 及 知识 管理 。 


“变化 是 永恒 的 ， 唯 一 不 变 的 是 变化 >， 随 着 用 户 对 于 大 数据 服务 认识 的 深入 ， 会 不 断 
提出 新 的 需求 ， 而 新 的 需求 要 求 大 数据 服务 重新 设计 、 开 发 并 转换 生产 运营 状态 。 

大 数据 服务 转换 的 驱动 力 分 为 三 种 : 外 部 业务 需求 引起 、 技 术 发 展 变化 引起 和 适用 企 
业 管 理 新 要 求 引起 。 

大 数据 服务 转换 过 程 的 目标 是 实现 大 数据 服务 成 功 地 转换 到 预期 的 状态 ， 为 此 需要 配 
置 管理 和 知识 管理 作为 支撑 。 

配置 管理 可 以 对 大 数据 服务 的 连接 关系 进行 管理 ， 以 便 进 行 大 数据 服务 的 部 署 实施 ， 
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服务 型 企业 架构 新 思维 
并 帮助 发 现 大 数据 服务 部 署 过 程 中 引起 错误 的 故障 点 。 

知识 管理 可 以 帮助 企业 积累 大 数据 服务 管理 过 程 中 的 经 验 ， 形 成 知识 库 ， 更 加 快速 高 
效 地 解决 大 数据 服务 管理 过 程 中 过 到 的 问题 。 

大 数据 服务 转换 过 程 主要 包括 转换 规划 与 支持 、 变 更 管理 、 服 务 资产 和 配置 管理 、 发 
布 和 部 署 管理 、 服 务 验证 与 测试 、 评 估 、 知 识 管理 。 


4.2.1 大 数据 服务 转换 计划 


在 大 数据 服务 转换 之 前 ， 需 要 做 好 大 数据 服务 构建 、 打 包 、 测 试 以 及 发 布 的 计划 ， 使 
得 新 的 或 者 变更 的 服务 能 够 顺利 地 投入 生产 。 

大 数据 服务 转换 计划 过 程 包括 : 

(1) 对 服务 转换 进度 、 变 化 、 问 题 、 风 险 以 及 偏 移 进 行 管理 ; 

(2) 与 客户 、 用 户 等 干系 人 沟通 、 改 进 并 完善 服务 转换 绩效 。 


4.2.2 ”大 数据 服务 变更 管理 


在 大 数据 服务 运营 过 程 中 ， 通 过 事件 、 故 障 、 问 题 等 确定 需要 变更 的 大 数据 服务 。 变 更 
的 需求 也 可 能 来 自 于 业务 需求 的 变化 ， 业 务 需 求 的 变化 会 导致 大 数据 服务 设计 的 变化 ， 从 
而 形成 大 数据 服务 变更 的 需求 。 

企业 可 以 根据 变更 的 紧迫 性 分 为 不 同 的 优先 级 : 立即 、 高 、 中 、 低 。 变 更 的 优先 级 通 
常 由 大 数据 服务 对 于 企业 效益 和 风险 的 影响 程度 确定 ， 对 于 企业 价值 高 的 大 数据 服务 具有 
较 高 的 变更 优先 级 。 


4.2.3 ”大 数据 服务 资产 与 配置 管理 


企业 要 完成 大 数据 服务 转换 ， 需 要 以 服务 配置 关系 为 基础 。 例 如 ， 某 个 软件 服务 部 团 
在 哪个 中 间 件 上 ， 中 间 件 部 署 在 哪个 操作 系统 上 ， 操 作 系统 部 署 在 哪个 主机 上 ， 主 机 位 于 
哪个 网 络 中 ， 网 络 如 何 接 入 通信 网 络 中 。 大 数据 服务 的 分 层 部 署 结 构 如 图 4-2-1 所 示 。 

从 图 4-2-1 可 以 看 出 ， 大 数据 服务 通常 由 5 层 来 承载 。 简 化 起 见 ， 图 中 没有 单独 标识 
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位 于 第 三 层 内 部 的 虚拟 化 层 和 位 于 第 四 层 内 部 的 支撑 平台 层 。 

与 面向 操作 的 应 用 一 样 ， 大 数据 服务 需要 操作 系统 、 主 机 设备 、 存 储 设备 、 网 络 设备 
作为 底层 的 基础 设施 ， 大 数据 服务 与 面向 操作 的 应 用 的 不 同 之 处 是 大 数据 服务 需要 以 满足 
海量 数据 存储 要 求 的 分 布 式 计算 与 存储 架构 为 基础 , 比如 采用 MapReduce 作为 大 数据 计算 
架构 ，Hadoop/HBase 作为 大 数据 存储 架构 。 


图 4-2-1 大 数据 服务 部 署 层 次 结构 图 


下 面 以 “客户 流失 分 析 ” 大 数据 服务 为 例 ,分 析 该 大 数据 服务 在 各 个 层次 的 部 署 要 求 。 

第 一 层 〈 网 络 层 ): 与 事务 型 应 用 相 比 ， 大 数据 服务 具有 大 量 的 数据 传输 特性 ， 因 此 
对 于 网 络 带宽 的 要 求 比较 高 ， 建 议 构建 独立 的 网 络 基础 设施 ， 与 事务 型 应 用 分 开 ， 以 免 降 
低 企业 事务 型 应 用 的 响应 速度 ， 影 响 客户 体验 。 

第 二 层 〈 硬 件 层 ): 与 事务 型 应 用 相 比 ， 大 数据 服务 对 于 操作 系统 没有 特别 的 要 求 ， 
因为 大 数据 服务 在 操作 系统 的 上 层 实 现 资 源 的 分 配 、 调 度 和 管理 。 

第 三 层 〈 操 作 系统 层 ): 事务 型 应 用 的 特点 是 数据 操作 频繁 ， 但 是 单 次 数据 传输 量 较 
小 ， 因 此 通常 采用 “主机 + 磁盘 阵列 ”的 集群 架构 ， 主 机 集群 可 以 满足 大 量 用 户 高 并 发 的 
需求 ， 当 用 户 访问 操作 型 应 用 时 ， 应 用 会 通过 负载 均衡 器 ， 将 请 求 发 送 到 主机 集群 中 负荷 
低 的 计算 节点 ,而 磁盘 阵列 则 可 以 保证 数据 的 可 靠 性 。 本 质 上 是 通过 元 余 空 间 换取 可 靠 性 ， 
磁盘 阵列 包括 RAID0+1、RAID5、RAID6 等 多 种 级 别 , 在 主机 集群 和 磁盘 阵列 之 间 通 常 采 
用 光纤 通道 (Fiber ChanneLFC) 的 方式 进行 连接 ， 光 纤 通 道具 有 高 达 1Gb/s 级 别 的 传输 速 
率 ， 能 够 满足 主机 和 磁盘 阵列 之 间 的 数据 传输 要 求 。 

为 了 应 对 海量 数据 存储 的 要 求 ， 大 数据 服务 采用 了 与 事务 型 应 用 不 同 的 计算 和 存储 架 
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服务 型 企业 架构 新 思维 
构 。 事 务 型 应 用 采用 “计算 ”和 “存储 ”分 开 集群 的 方式 ， 而 大 数据 服务 则 采用 “计算 ” 
和 “存储 ”一 体 化 集群 的 方式 。 前 者 通过 在 存储 区 域 网 络 中 增加 磁盘 的 方式 提升 基础 设施 
能 力 ， 属 于 纵向 扩展 ， 系 统 整体 性 能 不 会 随 着 主机 以 及 磁盘 阵列 的 增多 而 线性 提升 ， 扩 展 
能 力 有 限 ， 因 而 难以 满足 快速 增长 的 海量 数据 存储 要 求 。 

而 “计算 ”+“ 存 储 ” 一 体 化 的 集群 架构 则 没有 以 上 限制 ， 原 理 上 是 一 体 化 集群 架构 
借助 分 布 式 存储 和 分 布 式 计算 软件 实现 基础 设施 资源 的 调度 和 管理 。 这 种 架构 采用 一 体 化 
集群 的 主机 节点 作为 集群 新 的 能 力 ， 在 一 体 化 内 部 建立 容错 机 制 ， 以 保证 数据 的 可 靠 性 。 

第 四 层 〈 中 间 件 层 ): 大 数据 服务 在 这 一 层 与 事务 型 应 用 的 实现 方法 和 过 程 方面 有 很 
大 的 区 别 。 

事务 型 应 用 面向 操作 ， 采 用 “主机 + 磁盘 阵列 ”的 集群 架构 ， 通 常 是 在 主机 集群 中 部 
署 应 用 中 间 件 和 数据 库 中 间 库 , 如 果 系 统 采 用 B/S 结构 , 则 部 署 Web 中 间 件 。 处 理 过 程 为 : 
用 户 进入 应 用 系统 并 发 起 请 求 〈 比 如 录入 数据 后 提交 订单 ) 到 主机 集群 ， 主 机 集群 内 部 的 
负载 均衡 器 将 请 求 转发 到 服务 器 并 执行 计算 操作 ， 应 用 服务 器 再 与 数据 库 服务 交互 ， 最 终 
通过 数据 库 服 务 器 将 数据 存 入 磁盘 阵列 。 

大 数据 服务 的 处 理 过 程 为 : 首先 ， 从 各 种 数据 源 采集 数据 ， 经 过 ETL 进入 大 数据 集群 
服务 器 。 然 后 ， 经 过 ETL， 将 数据 存 入 数据 仓库 。 接 着 ， 经 过 ETL 将 数据 导入 数据 集 市 ， 
最 后 ， 通 过 数据 展示 中 间 件 展示 到 终端 设备 上 。 

对 于 简单 的 查询 应 用 ， 可 以 通过 部 署 在 大 数据 集群 服务 器 上 的 云 计算 和 云 存 储 中 间 件 
获取 所 需 数据 。 对 于 统计 报表 应 用 和 复杂 的 数据 分 析 应 用 ,需要 对 大 数据 进行 ETL 并 将 数 
据 加 载 到 传统 的 关系 型 数据 仓库 ， 最 后 再 借助 数据 展示 中 间 件 在 终端 上 展现 出 来 。 

第 五 层 〈 大 数据 服务 层 ): 应 用 层 功能 是 基于 第 四 层 中 间 件 实现 的 ， 比 如 市 场 预测 分 
析 、 客 户 流失 分 析 、 网 络 规划 设计 等 。 


4.2.4 大 数据 服务 发 布 与 部 署 管理 


随 着 大 数据 服务 的 不 断 完 善 ， 会 形成 多 个 面向 不 同 场景 的 版 本 ， 为 了 便于 大 数据 服务 
的 发 布 和 部 署 ， 需 要 对 大 数据 服务 进行 版 本 管理 ， 同 时 制订 部 署 计划 ， 保 证 即使 在 部 署 失 
败 的 情况 下 仍旧 能 够 为 客户 提供 不 间断 的 服务 。 

大 数据 服务 与 事务 型 应 用 在 部 署 结构 上 是 不 一 样 的 ， 两 种 类 型 的 应 用 的 部 署 结构 对 比 
如 图 4-2-2 所 示 。 


| 174 


第 4 章 
分 娩 : 从 幕后 到 台 前 的 华丽 转身 


4 
2 i E 通信 行为 数据 。 金融 交易 数据 电子 商务 数据 

[mh 
ul st 
| 
| 
上 
| 
| 
和 
| 
| 
| 
| 
| 
| 
\ 


\、Web 服 务 器 应 用 服务 器 ”应 用 服务 器 数据 库 服务 器 数据 库 服 务 器 


- 体 化 服务 器 


- 体 化 服务 器 
- 体 付 服 务 器 一 体 


en AR 于 
1 = \ re 
| 1 人 下 提名 析 图 , 
| | | | ! 
| ! 本 
1 - > ET saan / | 
| 磁盘 阵列 aas ! ' -ee | 
! ! | 

| 
、 | 
SS ' ! | Sy 


分 析 型 应 用 系统 部 署 结构 


图 4-2-2 大 数据 服务 与 事务 型 应 用 部 署 结构 对 比 


从 图 4-2-2 可 以 看 出 ， 操 作 型 应 用 采用 “主机 + 磁盘 阵列 ”的 集群 方式 ， 这 种 系统 部 团 
结构 适用 于 单 次 操作 数据 量 小 但 操作 频繁 的 事务 型 应 用 ， 通 过 构建 主机 集群 ， 基 本 可 以 满 
足 亿 级 用 户 的 访问 请 求 ， 同 时 由 于 事务 型 应 用 产生 的 数据 规模 一 般 为 TB 级 ， 通 过 扩容 磁 
盘 阵 列 即 可 满足 存储 空间 需求 。 此 外 ， 由 于 事务 型 应 用 产生 的 数据 为 企业 的 核心 生产 经 营 
数据 ， 对 于 数据 可 靠 性 要 求 高， 因此 适用 于 RAID 方式 来 保证 数据 的 可 靠 性 。 

事务 型 应 用 的 部 署 过 程 为 : 首先 ， 将 主机 服务 器 、 磁 盘 阵 列 、 网 络 设备 等 安装 设计 方 
案 部 署 到 机 房 的 机 架 内 ， 通 过 光纤 、 网 线 等 连接 起 来 并 加 电 。 其 次 ， 在 硬件 设备 上 安装 操 
作 系 统 ， 通 常 操作 系统 和 设备 管理 软件 已 经 由 设备 提供 商 在 硬件 设备 预 装 ， 如 果 不 符合 要 
求 ， 则 需要 按照 设计 要 求 安装 所 需 操作 系统 和 设备 管理 软件 。 再 次 ， 在 操作 系统 之 上 安装 
各 种 中 间 件 ， 比 如 负载 均衡 代理 软件 、Web 中 间 件 、 交 易 中 间 件 、 数 据 库 管理 软件 、 管 理 
软件 等 。 最 后 ， 将 预先 打包 部 署 的 应 用 软件 部 署 到 应 用 中 间 件 上 ， 在 数据 库 管理 软件 上 创 
建 表 、 视 图 、 存 储 过 程 、 触 发 器 、 函 数 等 并 导入 测试 数据 。 

当 以 上 过 程 完成 后 ， 就 可 以 执行 集成 测试 、 系 统 测试 、 系 统 使 用 文档 编制 、 用 户 培训 、 
用 户 接受 测试 等 测试 工作 了 。 
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对 于 大 数据 服务 ， 由 于 数据 量 可 能 会 在 PB 级 以 上 ， 数 据 量 太 大 ,“ 主 机 + 磁盘 阵列 ” 
的 系统 部 署 结 构 无 法 通过 横向 扩展 满足 计算 和 存储 需求 ， 因 此 需要 采用 “计算 和 存储 一 体 
化 ”的 系统 部 署 架构 , 通过 分 布 式 存储 管理 软件 和 分 布 式 计算 软件 实现 一 体 化 服务 器 集群 。 
如 果 数 据 存储 空间 不 足 ， 可 以 通过 增加 一 体 化 服务 器 实现 计算 能 力 和 存储 能 力 的 提升 。 

尽管 一 体 化 服务 器 集群 能 够 满足 大 规模 数据 存储 和 计算 需求 ， 提 供 高 效 的 数据 查询 服 
务 ， 但 是 复杂 的 统计 分 析 还 需要 借助 传统 的 关系 型 数据 仓库 实现 。 基 于 关系 型 数据 库 构 建 
数据 仓库 的 基本 过 程 为 : 首先， 将 企业 内 部 和 外 部 的 数据 经 ETL 装载 到 数据 仓库 。 然 后 ， 
根据 不 同 部 门 、 不 同 角色 的 需要 ， 形 成 面向 不 同 主题 的 数据 库 ， 比 如 面向 市 场 营销 部 门 的 
市 场 主题 库 ， 面 向 财务 部 门 的 财务 主题 库 等 。 最 后 ， 为 了 提高 数据 展示 的 速度 ， 需 要 部 署 
展示 服务 器 和 基于 内 存 的 报表 分 析 软 件 ， 在 终端 上 展示 分 析 结 果 。 

大 数据 服务 在 第 一 步 和 第 二 步 的 部 署 方法 和 内 容 与 事务 型 应 用 的 部 署 过 程 基本 一 致 ， 
都 是 完成 硬件 的 安装 上 架 、 操 作 系统 软件 的 安装 以 及 各 个 硬件 平台 之 间 的 网 络 联通 。 

大 数据 服务 第 三 步 部 署 与 事务 型 应 用 差别 很 大 。 主 要 差别 是 大 数据 服务 要 部 署 大 数据 
存储 、 计 算 、ETL、 展 示 等 专用 中 间 件 。 例 如 ， 在 一 体 化 服务 器 上 要 部 署 分 布 式 存储 和 分 
布 式 计算 中 间 件 ， 比 如 Hadoop/HBase、MapReduce 等 ， 在 执行 数据 ETL 的 服务 器 上 部 署 
ETL 工具 。 部 署 数据 仓库 管理 软件 、 数 据 集 市 管理 软件 、 在 展示 服务 器 上 部 署 基于 内 存 的 
报表 展示 中 间 件 ， 等 等 。 

大 数据 服务 部 署 的 第 四 步 是 在 各 个 中 间 件 上 安装 和 配置 各 种 应 用 软件 ， 包 括 基 于 
Hadoop 的 数据 查询 应 用 软件 .ETL 脚本 和 应 用 软件 、 基 于 数据 仓库 和 数据 集 市 的 存储 过 程 、 
基于 数据 展示 中 间 件 的 界面 展示 应 用 软件 等 。 


4.2.5 ”大 数据 服务 验证 与 测试 


当 系统 硬件 、 操 作 系统 、 管 理 软件 、 中 间 件 、 应 用 软件 、 测 试 数据 等 部 署 完 成 后 ， 意 
味 着 已 经 完成 了 测试 环境 的 搭建 ， 具 备 了 执行 测试 的 条 件 。 

测试 阶段 分 为 集成 测试 、 系 统 测试 、 用 户 接受 测试 三 个 阶段 。 

集成 测试 主要 测试 设备 之 间 、 部 署 在 不 同 设 备 上 的 应 用 软件 之 间 是 否 可 以 互通 ， 是 否 
符合 预先 设 定 的 接口 定义 。 比 如 ， 当 网 络 设备 、 主 机 、 存 储 设备 等 上 架 并 连接 好 网 线 后 ， 
系统 集成 商 要 测试 网 络 设备 之 间 是 否 能 够 相互 通信 : 中 间 件 产品 提供 商 要 测试 部 署 在 不 同 
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操作 系统 之 上 的 中 间 件 是 否 可 以 正常 通信 , 例如 Web 中 间 件 和 数据 库 管 理 软件 之 间 是 否 可 
以 正常 连接 ， 应 用 软件 提供 商 要 测试 部 署 在 不 同 设备 上 的 应 用 软件 之 间 是 否 可 以 正常 发 送 
和 接收 消息 ， 不 同 应 用 软件 之 间 是 否 按照 预先 定义 的 接口 要 求 传递 消息 ， 等 等 。 
系统 测试 是 从 整体 上 对 系统 功能 、 性 能 、 可 靠 性 、 安 全 性 、 可 伸缩 性 等 方面 进行 测试 
的 。 系 统 测试 的 方法 包括 边界 测试 、 正 常 范围 测试 、 各 种 异常 情况 测试 等 。 以 系统 功能 测 
试 为 例 ， 可 采用 输入 符合 要 求 的 数据 、 不 符合 要 求 的 数据 的 方法 测试 系统 功能 是 否 满足 要 
求 ， 对 于 系统 性 能 的 测试 ， 可 以 通过 模拟 多 用 户 场景 ， 实 施 压力 测试 ， 查 看 系统 是 否 能 够 
承载 某 个 规模 用 户 的 并 发 请 求 ， 是 否 满足 系统 响应 时 间 要 求 ， 对 于 系统 可 靠 性 测试 ， 可 以 
通过 移 走 集群 中 部 分 主机 的 方式 测试 集群 是 否 满足 可 靠 性 要 求 ， 可 以 按照 地 域 范围 ， 测 试 
系统 是 否 满足 同 机 房 内 部 、 同 城内 或 者 异地 之 间 的 容 灾 需 求 ， 对 于 安全 性 ， 可 以 采用 网 络 
攻击 模拟 软件 测试 系统 是 否 发 现 异 常 网 络 行为 ， 并 采取 断 开 连接 、 加 入 黑 名 单 等 方式 阻止 
异常 网 络 行为 。 对 于 应 用 级 安全 测试 ， 可 以 测试 账户 是 否 可 以 被 非法 窃取 ， 是 否 可 以 通过 
审计 功能 来 发 现 异常 操作 ， 对 非 正 常 使 用 系统 功能 和 数据 的 行为 进行 预警 。 
户 接 受 性 测试 是 让 最 终 用 户 参 与 测试 ， 通 常 经 过 三 个 月 的 用 户 接受 性 测试 后 ， 系 统 
进入 正常 运行 状态 。 


ma 


4.2.6 ”大 数据 服务 评估 


在 大 数据 服务 正式 运营 之 前 , 需要 对 大 数据 服务 进行 评估 , 判断 其 是 否 是 可 以 接受 的 、 
是 否 具有 价值 等 ， 减 少 大 数据 服务 在 运营 阶段 带 来 的 风险 和 损失 。 


4.2.7 大 数据 服务 知识 管理 


知识 是 人 类 根据 以 往 的 经 验 ， 对 发 现 的 问题 以 及 解决 问题 的 方法 进行 总 结 而 形成 的 。 
例如 ， 通 过 上 学 获得 了 知识 ， 而 这 些 知识 是 前 人 在 对 于 生产 与 生活 中 的 客观 世界 的 认识 中 
形成 的 。 

对 于 大 数据 服务 而 言 ， 知 识 管理 的 作用 是 为 了 帮助 企业 将 信息 在 恰当 的 时 间 地 点 传递 
给 有 此 需要 的 人 ， 以 便 快 速 解决 遇 到 的 问题 。 知 识 管理 是 大 数据 服务 各 个 阶段 都 需要 的 ， 
每 个 阶段 都 需要 借助 知识 管理 过 程 来 解决 问题 。 
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企业 可 以 构建 大 数据 服务 知识 库 管 理 平台 ， 将 生产 经 营 中 形成 的 或 者 外 部 学 习 的 经 验 
教训 知识 化 。 知 识 管理 平台 对 于 研究 、 咨 询 、 设 计 等 知识 型 企业 尤为 重要 ， 这 类 企业 在 多 
年 的 生产 经 营 过 程 中 形成 了 丰富 的 经 验 ， 如 果 将 这 些 知识 经 验 进行 有 效 管理 ， 就 可 以 方便 
员工 查询 、 使 用 。 一 方面 可 以 提高 工作 效率 ， 保 证 工作 质量 ， 另 一 方面 也 可 以 增强 员工 归 
属 感 ， 降 低 员工 流失 率 。 


4.3 大 数据 服务 转换 组 织 设 计 


大 数据 服务 转换 中 涉及 的 角色 主要 包括 资产 管理 员 、 配 置 管理 员 、 配 置 分 析 师 、 部 署 管理 员 、 
测试 管理 员 。 他 们 默默 无 闻 ， 却 担负 着 将 梦想 变 为 现实 的 重任 。 


大 数据 服务 转换 过 程 需 要 多 个 角色 共同 参与 完成 ， 这 些 角 色 可 以 由 一 个 或 者 多 个 人 员 
来 担当 ， 人 员 配 比 可 以 根据 企业 大 数据 服务 所 需 的 工作 负荷 而 定 。 

大 数据 服务 转换 的 过 程 中 可 以 存在 不 同 的 角色 。 比 如 在 配置 管理 过 程 中 ， 可 以 设置 服 
务 资产 管理 员 、 配 置 管理 员 和 配置 分 析 师 和 角色， 在 发 布 和 部 署 过 程 中 ， 可 以 设置 部 署 管理 
员 角 色 ， 在 服务 测试 与 验证 过 程 ， 可 以 设置 测试 管理 员 和 角色。 下 面 就 简单 分 析 一 下 不 同 角 
色 的 职责 。 


4.3.1 大 数据 服务 资产 管理 员 


大 数据 作为 企业 的 核心 资产 ， 需 要 进行 有 效 的 管理 以 便 企业 能 够 对 大 数据 服务 产生 的 
效益 以 及 消耗 的 成 本 进行 计算 。 通 过 成 本 效益 分 析 可 以 确定 该 大 数据 服务 是 否 可 行 ， 需 要 
占用 企业 多 少 成 本 等 。 

大 数据 服务 由 多 个 “资产 ”组 成 ， 这 些 “ 资 产 ” 可 以 是 有 形 的 基础 设施 (硬件 )， 也 
可 以 是 看 不 见 摸 不 着 的 无 形 资产 (软件)。 需要 借助 一 些 方法 和 手段 来 衡量 大 数据 服务 资产 
的 价值 。 比 如 ， 对 于 网 络 、 服 务 器 、 存 储 设备 等 硬件 设备 ， 可 以 通过 资产 原 值 和 折旧 的 方 
式 来 计算 资产 现 值 。 像 大 数据 服务 中 的 软件 资产 ， 更 多 是 由 人 的 智力 创造 的 ， 需 要 通过 人 
员 数 量 、 人 员 单 价 、 软 件 算法 复杂 系数 等 来 估算 。 
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大 数据 服务 资产 管理 员 的 主要 职责 包括 : 
(1) 定期 评估 大 数据 服务 资产 的 价值 ， 要 求 掌握 软件 价值 评估 的 方法 和 工具 ; 
(2) 将 大 数据 服务 资产 评估 结果 上 报 给 企业 管理 人 员 ， 对 于 可 能 会 带 来 企业 经 营 风险 
的 资产 ， 需 要 及 时 上 报 给 企业 管理 人 员 。 


4.3.2 ”大 数据 服务 配置 管理 员 


在 有 些 情 况 下 ， 企 业 需 要 新 增 或 者 变更 大 数据 服务 ， 这 时 需要 对 新 增 或 者 变更 的 大 数 
据 服 务 进行 转换 ， 而 大 数据 服务 转换 需要 掌握 大 数据 服务 资产 资源 的 配置 。 为 了 保证 大 数 
据 服务 能 够 成 功 地 转换 到 运行 状态 ， 需 要 对 大 数据 服务 进行 配置 管理 。 

大 数据 服务 是 由 应 用 、 平 台 、 基 础 设施 等 不 同 层面 的 资源 支撑 实现 的 ， 因 此 ， 大 数据 
服务 配置 管理 的 任务 就 是 维护 它们 之 间 的 真实 关系 。 当 新 增 大 数据 服务 时 ， 需 要 维护 大 数 
据 服务 相关 的 软 硬 件 资源 与 现 有 软 硬 件 资源 的 配置 关系 。 如 果 是 大 数据 服务 变更 ， 则 需要 
更 新 大 数据 服务 影响 的 资源 的 配置 关系 。 

大 数据 服务 配置 管理 员 的 主要 职责 包括 : 

(1) 负责 维护 大 数据 服务 相关 的 资源 、 能 力 、 价 值 等 信息 ; 

(2) 负责 维护 大 数据 服务 相关 资源 之 间 的 连接 关系 。 


4.3.3 ”大 数据 服务 配置 分 析 师 


新 增 或 者 变更 大 数据 服务 往往 会 影响 很 多 配置 项 Configuration Item，CI)， 而 数据 维 
护 不 及 时 或 者 数据 录入 错误 会 导致 不 正确 的 配置 关系 ， 这 些 错 误 的 配置 关系 会 对 以 后 新 增 
或 变更 大 数据 服务 造成 麻烦 ， 因 此 需要 大 数据 服务 配置 分 析 师 来 及 时 发 现 配 置 关系 中 存在 
的 问题 并 进行 纠正 ， 以 保证 顺利 地 完成 大 数据 服务 的 新 增 或 者 变更 。 

大 数据 服务 配置 分 析 师 的 职责 主要 包括 : 

(1) 定期 对 大 数据 服务 配置 项 以 及 它们 之 间 的 关系 进行 评估 ， 纠 正 其 中 存在 的 问题 ; 

(2) 提供 以 月 度 、 季 度 、 年 度 为 单位 的 配置 分 析 报 告 ， 说 明 配 置 失 败 的 原因 以 及 解决 
的 方法 ， 并 将 配置 管理 经 验 作 为 知识 库 的 一 个 重要 输入 ， 同 时 将 配置 分 析 报 告 上 报 给 企业 
管理 者 ， 作 为 绩效 考核 的 依据 。 

企业 信息 系统 内 部 资源 之 间 的 配置 关系 是 否 准确 ， 对 于 企业 生产 经 营 的 效率 具有 非常 
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重大 的 影响 ， 因 此 建议 企业 在 资源 管理 方面 予以 重视 ， 通 过 规范 化 的 管理 流程 予以 保障 ， 
并 将 资源 管理 纳入 绩效 考核 。 企 业 可 以 定期 进行 资源 资产 关系 移 核 ， 及 时 发 现 资源 配置 关 
系 中 存在 的 偏差 并 进行 纠正 ， 为 大 数据 服务 提供 准确 的 配置 关系 数据 。 
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4.3.4 大 数据 服务 部 署 管理 员 


当 按 照 设 计 要 求 完成 大 数据 服务 的 开发 与 单元 测试 后 ， 就 可 以 对 开发 成 果 进 行 打包 、 
构建 ， 然 后 发 布 到 测试 环境 和 生产 环境 了 。 大 数据 服务 部 署 管理 员 需要 准备 大 数据 服务 所 
需 的 基础 设施 资源 ， 并 将 大 数据 服务 部 署 到 相应 的 资源 节点 。 

大 数据 服务 部 署 的 前 提 是 资源 之 间 正 确 的 配置 关系 ， 首 先 应当 安 装 大 数据 服务 所 需 的 
硬件 基础 设施 ， 然 后 安装 大 数据 服务 所 需 的 系统 软件 ， 包 括 操作 系统 、 中 间 件 、 数 据 库 等 ， 
最 后 将 大 数据 服务 应 用 软件 部 署 到 相应 的 系统 软件 之 上 。 

大 数据 服务 部 署 管理 员 的 职责 主要 包括 : 

(1) 完成 大 数据 服务 的 构建 与 打包 。 在 不 同 的 平台 上 ， 大 数据 服务 依赖 的 资源 是 不 一 
样 的 ， 应 当 首 先 准 备 好 与 大 数据 服务 兼容 的 软 硬 件 资源 ， 使 其 可 以 构建 为 一 个 可 运行 的 
应 用 ; 

(2) 完 成 大 数据 服务 的 版 本 管理 。 当 大 数据 服务 完成 Bug 的 修改 或 者 新 需求 的 变更 后 ， 
会 相应 地 升级 大 数据 服务 的 版 本 。 如 果 大 数据 服务 的 版 本 在 运行 中 出 现 问题 ， 还 可 以 回 退 
到 正常 的 版 本 ， 保 证 大 数据 服务 的 连续 性 。 


4.3.5 ”大 数据 服务 测试 管理 员 


当 构 建 并 部 署 大 数据 服务 后 ， 就 可 以 对 大 数据 服务 进行 测试 了 。 大 数据 服务 测试 的 目 
的 是 验证 其 是 否 可 靠 、 可 用 ， 安 全 性 、 可 伸缩 性 、 性 能 等 方面 是 否 符合 企业 要 求 。 

大 数据 服务 测试 管理 员 的 主要 职责 包括 : 

(1) 对 大 数据 服务 进行 功能 性 测试 ， 验 证 是 否 满足 设计 阶段 的 功能 要 求 ， 功 能 性 测试 
的 方法 通常 是 根据 测试 案例 ， 验 证 在 预 设 输入 的 情况 下 是 否 产生 期 望 的 结果 ; 

(2) 对 大 数据 服务 进行 非 功 能 性 测试 ， 非 功能 性 需求 包括 便捷 性 、 可 用 性 、 扩 展 性 、 
安全 性 、 性 能 等 方面 ， 与 功能 性 测试 相 比 ， 非 功能 性 测试 的 难度 更 大 ， 需 要 模拟 各 种 失败 
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的 场景。 
4.4 主要 内 容 回顾 


为 了 保证 大 数据 服务 从 开发 测试 环境 顺利 转换 到 生产 环境 ， 需 要 遵循 一 些 简单 的 原 
则 。 首 先 ， 最 大 化 复 用 原则 ， 保 证 大 数据 服务 能 够 快速 、 稳 定 地 交付 。 其 次 ， 要 确保 大 数 
据 服务 转换 计划 与 业务 需求 的 一 致 性 。 最 后 ， 要 通过 沟通 、 培 训 等 方式 ， 保 证 大 数据 服务 
转换 的 参与 方 能 够 高 效 地 协同 配合 。 此 外 ， 企 业 需 要 综合 权衡 转换 成 本 与 收益 ， 转 换 速 度 
与 风险 ， 保 证 大 数据 服务 的 连续 性 。 

当 完 成 大 数据 服务 的 设计 和 开发 工作 之 后 ， 还 需要 经 过 打包 、 测 试 、 部 署 等 一 系列 转 
换 过 程 ， 才 能 实现 大 数据 服务 的 上 线 运行 。 

大 数据 服务 转换 过 程 包括 转换 计划 过 程 、 变 更 管理 过 程 、 资 产 与 配置 管理 过 程 、 发 布 
与 部 署 管理 过 程 、 验 证 与 测试 过 程 、 评 估 过 程 以 及 知识 管理 过 程 。 

转换 计划 过 程 需要 完成 大 数据 服务 的 构建 、 打 包 、 测 试 以 及 发 布 计划 的 制订 ， 保 证 各 
个 环节 的 顺利 进行 。 

变更 管理 过 程 由 大 数据 服务 运行 过 程 中 产生 的 事件 或 者 故障 激发 ， 也 可 能 由 新 的 需求 
驱动 。 

资产 与 配置 管理 过 程 是 大 数据 服务 能 否 转换 成 功 的 前 提 。 当 大 数据 服务 部 署 任务 完成 
后 或 者 资源 变更 后 ， 应 当 及 时 更 新 配置 项 之 间 的 连接 关系 。 

发 布 与 部 署 管理 过 程 负责 大 数据 服务 安装 到 指定 的 节点 上 ， 通 常 采用 Ant、Maven 等 
脚本 方式 实现 大 数据 服务 的 自动 化 构建 、 打 包 与 部 署 。 

大 数据 服务 转换 阶段 需要 多 个 不 同 分 工 的 角色 。 大 数据 服务 配置 管理 员 负 责 维护 资源 
配置 项 之 间 的 连接 关系 。 部 署 管理 员 负 责 将 大 数据 服务 部 署 到 不 同 的 终端 和 平台 。 测 试管 
理 员 负 责 完成 大 数据 服务 的 集成 测试 和 系统 测试 、 功 能 性 测试 和 非 功 能 性 测试 。 
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当 小 家 经 过 “ 筑 梨 ““ 联 姻 ”^“ 孕 育 尖 “分 娩 ” 的 过 程 后 ,“ 大 数据 服务 ”终于 降落 
到 人 间 ， 一 家 人 看 着 可 爱 的 小 宝宝 ， 自 然 特 别 高 兴 。 当 然 ， 父 母 含辛茹苦 ， 将 小 宝宝 养 大 
成 人 是 非常 不 容易 的 ， 何 况 每 个 父母 都 望子成龙 ， 望 女 成 风 ， 就 更 加 不 容易 了 。 

就 像 小 宝宝 在 成 长 的 过 程 中 ， 有 时 候 会 生病 发 烧 ， 有 时 候 会 心情 不 好 一 样 ， 大 数据 服 
务 这 个 刚刚 出 生 的 小 宝宝 ， 也 会 在 运营 中 出 现 很 多 问题 ， 比 如 突然 变 得 不 可 用 了 ， 不 能 帮 
助 企业 实现 快速 的 决策 支持 了 ， 甚 至 可 能 会 误导 企业 ， 做 出 错误 的 决策 ， 等 等 。 以 上 问题 
的 出 现 都 是 很 正常 的 ， 都 需要 企业 及 时 发 现 问题 ， 查 找 根源 并 找 出 解决 问题 的 方法 ， 持 续 
地 改进 大 数据 服务 。 

培育 大 数据 服务 是 一 个 持续 提升 的 过 程 ， 包 括 大 数据 服务 运营 和 大 数据 服务 改进 两 个 阶段 。 

在 大 数据 服务 运营 阶段 ， 需 要 在 大 数据 服务 运营 原则 的 指导 下 ， 实 施 规范 化 的 过 程 ， 
提高 发 现 和 解决 问题 的 效率 ， 通 过 专业 化 职能 ， 提 高 不 同 部 门 、 不 同 岗位 、 不 同 角 色 的 协 
同 配合 能 力 ， 为 大 数据 服务 用 户 提供 满意 的 服务 。 

在 大 数据 服务 改进 阶段 ， 参 考 戴 明 的 质量 循环 理论 ， 给 出 了 大 数据 服务 改进 的 方法 ， 
然后 再 以 决策 支持 在 战略 、 战 术 以 及 操作 三 个 层次 的 目标 为 指导 ， 通 过 七 步 法 完成 大 数据 
服务 从 定义 到 改进 的 过 程 。 

本 章 内 容 思维 导 图 如 下 所 示 : 


改进 方法 三 ”参考 戴 明 质量 管理 循环 理论 ， 采 用 从 计划 、 执 行 到 检查 、 行 动 的 PDCA 方法 


大 数据 服务 改进 


区 改进 过 程 二 ”以 战略 、 展 示 、 操作 = 个 层次 的 决策 支持 目标 为 指导 ， 采 用 七 步 法 持续 改进 
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5.1 大 数据 服务 运营 : 多 、 快 、 好 、 省 


大 数据 服务 运营 既 包 括 事件 管理 、 事 故 管理 、 请 求实 现 、 问 题 管理 、 访 问 管理 等 过 程 ， 又 包括 
服务 台 、 技 术 管 理 、 应 用 管理 等 职能 


与 企业 面向 操作 的 事务 型 应 用 相 比 ， 大 数据 服务 在 运营 阶段 会 有 更 多 问题 需要 解决 ， 
尤其 是 大 数据 服务 属于 分 析 型 应 用 ， 许 多 新 的 需求 是 在 运营 过 程 中 ， 业 务 人 员 获得 新 的 启 
示 后 发 现 的 。 

大 数据 服务 运营 与 企业 运营 一 样 ， 需 要 通过 过 程 管理 来 保障 。 大 数据 服务 运营 过 程 包 
括 事件 管理 、 事 故 管理 、 请 求实 现 、 问 题 管理 以 及 访问 管理 ， 满 足 特定 需要 的 职能 包括 服 

台 、 技 术 管理 、 大 数据 服务 运 维 管理 、 大 数据 应 用 管理 。 


5.1.1 大 数据 服务 运营 原则 


大 数据 服务 运营 原则 其 实 就 是 一 个 综合 权衡 的 过 程 。 在 大 数据 服务 运营 的 过 程 中 需要 
权衡 多 种 因素 , 比如 内 部 开 视角 和 外 部 业务 视角 、 稳定 性 和 响应 性 、 服 务 质 量 和 服务 成 本 、 
被 动 和 主动 等 。 

1. 缩小 业务 人 员 与 技术 人 员 的 认 知 差异 


由 于 业务 和 技术 人 员 天 然 上 关注 点 不 同 ， 自 然 会 在 大 数据 服务 运营 方面 存在 差异 ， 企 
业 需 要 尽量 消除 两 者 之 间 的 鸿沟 。 一 般 来 讲 , 业务 人 员 将 IT 作为 一 种 满足 客户 和 用 户 需求 
的 服务 、 工 具 和 手段 ， 其 更 关注 于 大 数据 服务 的 “价值 创造 ”， 而 技术 人 员 则 将 IT 看 作 多 
个 不 同 的 技术 组 件 ， 其 更 关注 的 是 “实现 ”由 于 职业 背景 不 同 ,理论 上 无 法 填 平 业务 人 员 

和 技术 人 员 之 间 的 鸿沟 ， 只 能 通过 沟通 和 培训 增强 双方 的 理解 ， 让 双方 以 大 数据 服务 价值 
创造 为 准绳 来 协同 配合 ， 实 现 企业 共同 的 目标 。 


2. 权衡 系统 稳定 性 与 响应 性 


对 于 大 数据 服务 ， 尤 其 是 那些 与 企业 生产 关系 密切 的 应 用 ， 特 别 需要 大 数据 服务 能 
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稳定 运行 ， 但 是 现实 情况 是 许多 因素 需要 大 数据 服务 做 出 改变 ， 要 变 就 会 有 风险 ， 就 会 影 
响 现 有 应 用 的 稳定 性 。 当 然 ， 如 果 不 变 ， 又 会 影响 对 于 外 部 市 场 需求 的 响应 速度 ， 进 而 影 
响 到 企业 的 客户 的 市 场 竞争 力 。 因 此 ， 需 要 在 “不 变 ” 和 “ 变 ” 之 间 取 得 一 种 平衡 ， 在 保 
证 大 数据 服务 稳定 性 的 前 提 下 取得 更 好 的 响应 性 。 


3. 权衡 服务 质量 与 服务 成 本 


质量 和 成 本 通常 是 事情 的 一 体 两 面 ， 鱼 和 熊 掌 不 可 兼 得 ， 大 数据 服务 的 质量 提升 了 ， 
通常 也 会 需要 更 多 服务 成 本 ， 企 业 需 要 在 服务 质量 和 服务 成 本 之 间 进行 权衡 取舍 。 


4. 权衡 被 动 的 响应 与 主动 发 现 


在 大 数据 服务 运营 的 过 程 中 ， 往 往 是 用 户 发 现 问题 后 才 会 被 动 地 分 析 和 解决 问题 ， 这 
种 被 动 解决 问题 的 方式 会 导致 用 户 满意 度 下 降 。 如 果 采 用 实时 地 监控 大 数据 服务 运行 的 情 
况 来 主动 发 现 其 存在 的 潜在 风险 ， 在 问题 发 生 之 前 就 将 问题 解决 掉 ， 这 样 就 会 保证 大 数据 
服务 的 高 可 用 性 ， 提 升 用 户 满意 度 。 


5.1.2 ”大 数据 服务 运营 过 程 


大 数据 服务 运营 过 程 根据 问题 等 级 、 问 题 发 现 方式 等 分 为 事件 管理 、 事 故 管理 、 请 求 
实现 、 问 题 管理 、 访 问 管理 。 

在 大 数据 服务 运营 过 程 中 ， 如 果 发 现 的 问题 不 影响 用 户 的 正常 使 用 ， 可 以 通过 提示 、 
告警 、 通 知 等 方式 处 理 监控 事件 ， 比 如 磁盘 剩余 空间 、 查 询 统计 响应 时 间 是 否 超出 某 个 预 
设 值 等 。 

对 于 已 经 影响 大 数据 服务 正常 使 用 的 事件 归 为 事故 管理 ， 比 如 服务 器 或 者 数据 库 宕 
机 、ETL 系统 故障 等 。 可 以 通过 事故 管理 过 程 ， 将 待 解决 问题 落实 到 专业 人 员 ， 以 便 快速 
恢复 大 数据 服务 。 

在 大 数据 服务 运行 的 过 程 中 ， 也 会 有 许多 常规 性 的 服务 请 求 ， 比 如 新 增 系 统 账户 、 密 
码 重 置 、 数 据 字 典 修改 等 ， 这 些 问题 纳入 请 求实 现 过 程 。 

大 数据 服务 应 当做 到 按 组 织 、 用 户 、 角 色 、 岗 位 等 进行 授权 ， 通 过 授权 限定 数据 访问 
的 范围 和 深度 。 可 以 通过 事后 审计 ， 发 现 非 正常 的 数据 使 用 ， 尤 其 要 注意 因数 据 泄露 引 起 
的 隐私 和 法 律 问题 。 
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1. 大 数据 服务 事件 管理 过 程 


事件 是 大 数据 服务 在 运营 过 程 中 出 现 并 被 捕获 的 ， 事 件 管理 的 目的 是 对 大 数据 服务 运 
营 过 程 进行 监控 ， 通 过 监控 反馈 信息 来 发 现 问题 ， 事 件 管理 过 程 将 这 些 信息 进行 筛选 后 推 
送 到 相关 过 程 进行 后 续 处 理 


事件 的 来 源 包括 大 数据 服务 、 配 置 项 以 及 监控 工具 。 大 数据 服务 事件 管理 包括 主动 监 
控 和 被 动 监控 两 种 类 型 。 

事件 管理 是 大 数据 服务 运营 的 基础 ， 事 件 管理 可 以 发 现 问题 后 通过 自动 化 的 方式 来 修 
复 问 题 ， 进 而 提高 了 大 数据 服务 运营 的 效率 ， 保 证 了 服务 运营 的 连续 性 。 大 数据 服务 运营 
事件 处 理 过 程 如 图 5-1-1 所 示 。 


图 5-1-1 大 数据 服务 运营 事件 处 理 过 程 


从 图 5-1-1 可 以 看 出 ， 大 数据 服务 事件 处 理 过 程 为 两 个 大 的 阶段 。 
第 一 个 阶段 为 单一 事件 处 理 阶段 。 这 个 阶段 主要 完成 大 数据 的 分 类 处 理 ， 如 果 是 通知 
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型 事件 ， 只 需要 记录 事件 记录 即 可 ， 如 果 是 异常 事件 ， 则 需要 进一步 辨别 后 处 理 。 

第 二 阶段 为 事件 的 关联 分 析 阶 段 。 因 为 一 个 事件 的 发 生 可 能 会 影响 其 他 大 数据 服务 运 
营 过 程 ， 如 果 属 于 比较 严重 的 事件 报警 ， 则 需要 人 为 干预 ， 否 则 需要 根据 事件 的 类 型 转 入 
相应 的 过 程 来 处 理 。 事 件 处 理 完 成 之 后 ， 还 需要 进行 评估 ， 如 果 评 估 后 仍然 存在 问题 ， 则 
应 当 继续 进行 处 理 直 至 问题 解决 。 


2. 大 数据 服务 事故 管理 过 程 


事故 不 同 于 事件 ， 它 已 经 造成 了 大 数据 服务 的 中 断 ， 因 此 事故 管理 过 程 的 目标 是 尽快 
营 的 状态 。 大 数据 服务 事故 管理 过 程 如 图 5-1-2 所 示 。 


恢复 大 数据 服务 到 正常 运 


来 源 于 事件 管理 


来 源 于 Web 接 口 


用 户 电话 呼叫 


技术 人 员 收 到 的 | | 
邮件 


图 5-1-2 大 数据 服务 事故 管理 过 程 


从 图 5-1-2 可 以 看 出 ， 大 数据 服务 事故 管理 过 程 首先 接收 来 自 不 同 渠 道 的 事故 源 ， 包 
括 电 话 、 邮 件 、Web、 其 他 事件 管理 过 程 等 ， 然 后 再 识别 事故 的 级 别 。 如 果 事故 属于 服务 
请 求 ， 则 交 给 请 求实 现 过 程 完成 ， 否 则 需要 判断 事故 是 否 为 主要 事故 ， 如 果 是 ， 则 需要 
继续 判断 是 否 需要 升级 处 理 ， 如 果 需 要 升级 处 理 ， 还 需要 判断 是 否 提交 到 管理 层 处理 。 
通过 一 系列 的 判断 ， 最 终 按照 时 限 、 优 先 级 等 完成 事故 的 处 理 ， 以 保证 大 数据 服务 的 快速 
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恢复 。 
3. 大 数据 服务 请 求实 现 过 程 


事件 是 不 可 以 预知 的 ， 服 务 请 求 是 可 以 计划 的 。 可 以 将 各 种 不 同 的 服务 请 求 进行 标准 
化 ， 并 采用 菜单 形式 管理 服务 请 求 ， 从 而 提高 服务 请 求 的 效率 。 
大 数据 服务 请 求实 现 过 程 处 理 常 规 性 服务 ， 包 括 密码 修改 、 联 系 方式 修改 等 。 


4. 大 数据 服务 问题 管理 过 程 


大 数据 服务 问题 管理 过 程 的 目的 是 找 出 产生 问题 的 根源 ， 从 根本 上 解决 问题 ， 而 不 是 
“头疼 医 头 、 脚 疼 医 脚 ”。 

大 数据 服务 运营 过 程 中 产生 问题 的 原因 很 多 ， 数 据 质量 的 好 坏 是 影响 大 数据 服务 质量 
最 主要 的 因素 ， 其 次 还 有 数据 模型 设计 、 数 据 展现 形式 、 数 据 挖 掘 算法 等 方面 。 

从 根本 上 解决 大 数据 服务 运营 过 程 中 产生 的 问题 包括 被 动 解决 和 主动 解决 两 种 方式 ， 
被 动 解决 是 在 大 数据 服务 运营 阶段 解决 问题 ， 而 主动 解决 问题 主要 在 大 数据 服务 持续 改进 
阶段 解决 。 

大 数据 服务 问题 管理 过 程 解决 问题 的 常用 方法 是 日 志 分 析 ， 大 数据 服务 运营 过 程 中 会 
将 用 户 的 操作 行为 以 及 系统 的 运行 状况 记录 下 来 ， 包 括 日 志 时 间 、 操 作用 户 、 操 作 动 作 、 
执行 结果 等 ， 操 作用 户 可 能 是 人 也 可 能 是 系统 ， 问 题 管 理 过 程 根据 这 些 日 志 分 析 并 找 出 出 
现 问题 的 原因 。 

大 数据 服务 问题 管理 过 程 需要 借助 配置 管理 过 程 来 定位 与 问题 有 关 的 配置 项 ， 也 可 以 
借助 知识 库 进 行 关键 字 查 询 ， 找 到 问题 产生 的 原因 以 及 解决 的 方法 。 此 外 ， 大 数据 服务 问 
题 管理 过 程 可 以 作为 变更 管理 过 程 的 输入 ， 通 过 变更 管理 过 程 来 从 根本 上 解决 问题 。 

大 数据 服务 问题 管理 过 程 如 图 5-1-3 所 示 。 

从 图 5-1-3 可 以 看 出 ， 大 数据 服务 问题 管理 过 程 就 是 一 个 主动 发 现 问 题 、 定 位 问题 直 
至 解决 问题 的 过 程 。 

在 问题 发 现 与 判断 的 过 程 中 ， 要 对 发 现 的 问题 进行 分 级 分 类 ， 通 过 配置 管理 系统 发 现 
影响 问题 的 环节 ， 比 如 由 主机 引起 、 由 中 间 件 引起 ， 还 是 由 应 用 软件 引起 等 ， 然 后 判断 解 
决 这 一 问题 是 否 有 变通 方案 ， 如 果 有 变通 方案 ， 则 执行 变通 方案 ， 然 后 过 程 结 束 ， 如 果 没 
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有 则 将 发 现 的 问题 作为 错误 记录 到 已 知 错误 数据 库 ， 如 果 该 问题 再 次 发 生 ， 则 可 以 作为 经 
验 快速 找到 解决 问题 的 方法 。 然 后 判断 是 否 需 要 变更 ， 如 果 不 需 要 则 直接 解决 问题 ， 比 如 
只 需 重新 启动 问题 相关 的 几 个 中 间 件 服务 ， 如 果 需 要 变更 ， 则 需要 进入 大 数据 服务 问题 变 
更 过 程 。 


类 


问题 检测 问题 日 志 分 


主要 问题 回顾 
- 关闭 


图 5-1-3 大 数据 服务 问题 管理 过 程 


5. 大 数据 服务 访问 管理 过 程 


大 数据 服务 访问 管理 过 程 的 目标 是 使 得 合适 的 人 能 够 获得 授权 的 大 数据 服务 ， 因 此 需 
要 账户 管理 、 认 证 管理 以 及 授权 管理 。 此 外 ， 为 了 发 现 大 数据 服务 运营 过 程 中 存在 的 潜在 
风险 或 者 找 出 出 现 问题 的 责任 方 ， 需 要 对 大 数据 服务 使 用 日 志 进行 审计 。 


5.1.3 ”大 数据 服务 运营 职能 


大 数据 服务 运营 组 织 负责 日 常事 务 的 处 理 ， 保 证 大 数据 服务 的 正常 运营 。 大 数据 服务 
运营 的 职能 包括 服务 台 、 技 术 管理 、 运 行 维护 管理 以 及 应 用 管理 。 

大 数据 有 了 , 但 是 它 需 要 有 效 地 运营 才能 够 发 挥 应 有 的 作用 , 包括 建立 什么 样 的 组 织 、 
需要 什么 样 角色 的 人 员 参 与 ， 这 些 人 员 或 角色 之 间 如 何 协调 配合 结合 大 数据 使 用 中 存在 的 
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问题 等 ， 这 些 都 属于 大 数据 运 维 的 范围 。 
大 数据 运 维 的 数据 形式 包括 结构 化 和 非 结 构 化 两 种 类 型 ， 数 据 来 源 于 组 织 内 部 和 组 织 
外 部 。 大 数据 运营 架构 包括 数据 的 采集 与 整合 、 元 数据 管理 、 数 据 集 市 、 数 据 挖掘 ， 强 调 
对 数据 的 管理 与 利用 。 大 数据 服务 实现 的 形式 包括 数据 服务 、 统 计 报表 、 趋 势 分 析 。 


1. 大 数据 服务 服务 台 职能 


服务 台 是 大 数据 服务 的 用 户 与 企业 交流 的 门户 ， 用 户 可 以 借助 服务 台 反 馈 大 数据 服务 
使 用 过 程 中 存在 的 问题 , 或 者 提出 服务 请 求 等 ,服务 台 也 应 当 及 时 地 将 发 现 的 事件 、 事故 、 
问题 等 通知 给 用 户 ， 最 终 构建 一 个 用 户 与 大 数据 服务 平台 之 间 沟 通 的 桥梁 。 


2. 大 数据 服务 技术 管理 职能 


大 数据 服务 技术 管理 职能 解决 与 技术 相关 的 问题 。 

大 数据 服务 的 运营 不 但 需要 电力 、 空 调 、 照 明 等 机 房 基 础 设施 ， 而 且 需 要 主机 、 网 络 、 
存储 、 中 间 件 、 数 据 库 等 系统 硬件 和 系统 软件 的 支持 ， 如 果 大 数据 服务 出 现 问题 ， 则 需要 
不 同方 向 的 技术 专家 参与 ， 技 术 管 理 是 大 数据 服务 的 重要 保障 。 

大 数据 服务 技术 管理 职能 分 为 知识 经 验 提 供 角色 和 资源 供给 角色 。 


3. 大 数据 服务 运行 维护 管理 职能 


与 大 数据 服务 技术 管理 职能 相 比 ， 大 数据 服务 运行 维护 管理 职能 负责 管理 和 维护 企业 
的 大 数据 服务 基础 设施 ， 以 保证 能 够 交付 业务 所 需 的 大 数据 服务 。 

大 数据 服务 运行 维护 职能 具体 包括 运营 控制 、 设 施 管理 。 运 营 控制 包括 控制 台 管理 、 
工作 计划 、 备 份 与 恢复 、 打 印 和 输出 。 实 施 管理 包括 电力 、 空 调 、 空 间 等 管理 。 

大 数据 服务 运行 维护 管理 职能 的 角色 包括 运营 控制 员 和 基础 设施 管理 员 。 


4. 大 数据 服务 应 用 管理 职能 


大 数据 服务 应 用 管理 职能 是 从 应 用 视角 进行 大 数据 服务 管理 的 。 应 用 管理 职能 需要 确 
定 应 用 获取 的 策略 ， 比 如 ， 购 买 应 用 还 是 自主 研发 应 用 ? 大 数据 服务 应 用 管理 职能 需要 对 
大 数据 服务 全 生命 周期 进行 管理 ， 包 括 需求 、 设 计 、 构 建 、 部 署 、 上 线 运 营 、 优 化 。 

大 数据 服务 应 用 管理 职能 的 角色 包括 应 用 负责 人 、 应 用 分 析 师 、 应 用 架构 师 。 
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5.2 大 数据 服务 改进 : 自强 不 息 止 于 至 善 
大 数据 服务 不 是 一 跌 而 就 的 ， 是 需要 一 个 不 断 改进 完善 的 过 程 ， 发 现 问题 和 差距 并 持续 改进 是 
提升 企业 决策 能 力 的 唯一 途径 。 


大 数据 服务 为 了 满足 市 场 需求 ， 需 要 不 断 地 优化 完善 才 行 。 可 以 通过 对 大 数据 服务 进 
行 评 估 和 对 标 ， 发 现 大 数据 服务 与 决策 支持 目标 之 间 存 在 的 差距 ， 然 后 再 进行 改进 完善 。 


5.2.1 大 数据 服务 改进 方法 


按照 戴 明 的 质量 管理 循环 理论 一 一 计划 -执行 -检查 -行动 (Plan-Do-Check-Action ， 
PDCA) 大 数据 服务 的 改进 也 同样 采用 计划 -执行 -检查 -行动 的 方法 。 大 数据 服务 改进 模型 
如 图 5-2-1 所 示 。 


我 们 如 何 到 达 那 里 ? 


图 5-2-1 大 数据 服务 改进 模型 
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从 图 5-2-1 可 以 看 出 ， 大 数据 服务 改进 模型 首先 是 确定 决策 支持 的 目标 ， 包 括 产 品 销 
售 能 力 提升 目标 、 运 党 成 本 降低 目标 或 者 客户 感知 提升 目标 。 然 后 ， 企 业 需要 对 大 数据 服 
务 能 力 进行 基线 评估 ， 确 定 大 数据 服务 的 能 力 现状 。 接 着 ， 基 于 大 数据 服务 在 产品 销售 能 
力 提升 、 运 营 成 本 降低 或 者 客户 感知 提升 方面 的 总 体 目标 ， 确 定 可 测度 的 SMART (具体 、 
可 测度 、 可 实现 、 相 关 性 、 截 止 时 间 ) 目标 。 再 然后 ， 结 合 大 数据 服务 能 力 现状 和 提升 目 
标 ， 确 定 大 数据 服务 的 能 力 差距 并 实施 改进 。 最 后 ， 对 改进 成 果 进 行 评估 ， 确 认 大 数据 服 
务 能 力 提升 的 程度 。 


5.2.2 ”大 数据 服务 改进 过 程 


大 数据 服务 改进 过 程 通常 可 以 采用 七 步 法 来 完成 ， 如 图 5-2-2 所 示 。 


识别 
战略 层 决策 支持 目 
人 四 


BB 


eat I | 


“操作 层 决策 支持 目 
S7: S2: 
大 数据 服务 改进 执行 待 评测 大 数据 服务 
| 能 力 定义 
9" 
A S3: 
分 析 结果 展示 、 评 估 评测 数据 采集 


\ 


从 图 5-2-2 可 以 看 出 ， 大 数据 服务 改进 过 程 以 大 数据 服务 改进 目标 为 指导 ， 基 于 企业 
战略 、 战 术 以 及 操作 三 个 层次 的 决策 支持 目标 ， 需 要 完成 7 个 步骤 ， 形 成 一 个 从 待 评测 大 
数据 服务 定义 到 大 数据 服务 改进 执行 的 闭环 过 程 。 


S4: J 
评测 数据 处 理 


图 5-2-2 大 数据 服务 改进 过 程 ( 七 步 法 ) 
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5.3 主要 内 容 回顾 


进入 运营 阶段 的 大 数据 服务 ， 需 要 经 过 不 断 地 调整 、 优 化 ， 才 能 体现 其 在 企业 生产 经 
营 决 策 中 的 重要 作用 。 

大 数据 服务 运营 一 方面 要 满足 业务 人 员 对 于 大 数据 服务 的 正常 使 用 需要 ， 男 一 方面 还 
要 对 其 进行 优化 完成 ， 提 升 其 对 企业 生产 经 营 决策 的 业务 价值 。 

为 了 使 得 大 数据 服务 满足 企业 正常 的 使 用 需要 ， 需 要 构建 大 数据 服务 管理 体系 ， 通 过 
设置 多 个 相互 配合 的 运营 过 程 和 职能 ， 保 障 企业 能 够 快速 、 高 效 地 发 现 和 解决 大 数据 服务 
运营 过 程 中 出 现 的 问题 。 

为 了 提升 大 数据 服务 在 企业 生产 经 营 过 程 中 的 决策 价值 ， 需 要 从 业务 角度 出 发 ， 设 定 
战略 、 战 术 以 及 操作 层次 的 决策 目标 ， 然 后 检查 大 数据 服务 与 满足 这 些 决 策 目标 的 差距 ， 
找 出 缩小 这 一 差距 的 方法 ， 通 过 变更 或 者 新 增 大 数据 服务 ， 提 升 大 数据 服务 的 决策 支持 
能 力 。 
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“不 养 儿 不 知 父母 恩 ”， 家庭 对 孩子 的 “培育 ”是 非常 辛苦 的 ， 何 况 父母 对 于 孩子 总 是 有 
更 高 的 期 望 。“ 一 分 耕耘 一 分 收获 ， 十 分 耕耘 十 分 收获 ”， 父 母 对 孩子 的 精心 培育 ， 一 定 会 有 
好 的 回报 的 。 企 业 对 待 大 数据 服务 ， 就 像 父 母 对 竺 “孩子 ”一 样 ， 通 过 不 断 地 优化 和 完善 ， 
大 数据 服务 这 个 “孩子 ”也 一 定 会 不 负 众望 ， 助 力 企业 大 展 宏图 ， 像 巨 龙 一 样 “腾飞 ”起 来 。 

实践 是 检验 真理 的 唯一 标准 。 大 数据 服务 能 否 帮 助 企 业 取 得 成 功 ， 还 需要 在 行业 应 用 
实践 中 得 到 答案 。 下 面 以 电信 、 金 融和 互联 网 三 个 行业 为 例 ， 说 明 大 数据 服务 如 何在 企业 
生产 经 营 实践 中 应 用 。 

大 数据 服务 要 助力 企业 实现 “腾飞 ”， 必 然 要 开放 数据 ， 而 开放 数据 就 可 能 会 引起 个 
人 隐私 触犯 ， 商 业 秘密 泄露 ， 个 人 、 企 业 或 者 社会 安全 受到 威胁 ， 以 及 触犯 国家 法 律 法 规 
等 一 系列 问题 ， 这 些 都 是 企业 在 应 用 大 数据 服务 的 过 程 中 特别 需要 注意 和 防范 的 。 

此 外 ， 与 大 数据 相关 的 热点 话题 很 多 ， 比 如 去 计算、 移动 互联 网 、 物 联网 、 电 子 商 务 
等 ， 如 果 企 业 能 够 掌握 这 些 社会 热点 与 大 数据 的 密切 联系 ， 将 能 够 让 大 数据 服务 “ 飞 ” 得 
更 高 、 更 远 。 本 章 内 容 思 维 导 图 如 下 : 


应 用 场景 1 : 运用 大 数据 实现 个 人 信用 评估 
2 应 用 场景 2 : 运用 大 数据 实现 大 中 型 企业 信用 评估 
大 数据 在 金融 行业 的 应 用 霹 
应 用 场景 1 : 大 数据 在 社交 网 络 领 域 的 应 用 
大 数据 在 互联 风行 业 的 应 用 应 用 场景 2 : 大 数据 在 电子 商务 领域 的 应 用 
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6.1 大 数据 在 电信 行业 的 应 用 


通信 大 数据 既 包 含 真实 可 靠 的 用 户 属性 信息 ， 又 包括 通话 、 上 网 等 用 户 实时 行为 信息 ， 可 以 反 
映 个 体 与 群体 的 社交 关系 、 需 求 偏 好 、 行 为 特征 等 。 


如 今 的 电信 运营 商 , 在 腾讯 、 阿 里 、360 等 厂商 在 电信 网 络 之 上 提供 服务 (On The Top， 
OTT) 和 京东 、 蜗 牛 移动 、 国 美 等 虚拟 运营 商 的 多 面 夹击 下 ， 处 于 日 益 激烈 的 市 场 竞争 之 
中 ， 逐 渐 失 去 以 往 那 种 依靠 经 营 人 垄断 生存 的 好 日 子 ， 在 新 的 市 场 环境 下 ， 必 须 重 新 思考 ， 
寻找 新 的 业务 创新 点 。 

随 着 移动 通信 网 络 和 移动 智能 终端 的 飞速 发 展 ， 预 示 着 移动 互联 网 和 大 数据 时 代 的 到 
来 ， 在 新 的 形势 下 ， 电 信 运 营 商 需要 充分 发 挥 以 通信 网 络 为 核心 的 大 数据 优势 ， 提 升 战略 
管理 水 平 与 运营 能 力 。 

对 于 电信 运营 商 来 说 ， 其 优势 主要 体现 在 三 个 方面 。 

第 一 ， 电 信和 运营 商 具 有 庞大 的 通信 网 络 资源 和 海量 的 信息 通信 记录 ， 可 以 实时 掌握 用 
户 的 通信 行为 和 地 理 位 置 ， 比 如 通话 行为 、 上 网 行为 、 移 动 轨迹 等 ; 

第 二 ， 电 信 运 营 商 具有 亿 级 的 庞大 用 户 群 ， 并 且 用 户 信 息 大 多 采用 实名 认证 方式 ， 基 
本 真实 可 靠 ; 

第 三 ， 电 信和 运营 商 具有 完善 的 渠道 体系 和 庞大 的 营销 与 服务 渠道 资源 ， 拥 有 线 上 和 线 
下 资源 协同 优势 。 

电信 运营 商 的 三 大 优势 为 大 数据 运营 提供 了 很 好 的 数据 基础 ， 在 电信 产品 同 质 化 的 今 
天 ， 电 信和 运营 商 应 当 发 挥 在 大 数据 方面 的 差异 化 优势 ， 充 分 挖掘 和 释放 信息 通信 大 数据 的 
潜力 ， 用 于 企业 的 发 展 战略 、 建 设 、 运 营 等 各 个 环节 之 中 ， 同 时 ， 应 当 积极 与 其 他 行业 合 
作 ， 推 动 满足 全 社会 需要 的 大 数据 应 用 创新 。 

下 面 就 以 电信 运营 商 已 经 实现 的 或 者 可 以 实现 的 两 个 大 数据 应 用 场景 为 例 ， 分 析 电 信 
大 数据 实现 应 用 创新 的 方法 和 思路 。 
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6.1.1 ”应 用 场景 1: 移动 用 户 上 网 记录 查询 


1. 问题 的 产生 

第 一 代 移 动 通信 主要 解决 了 人 与 人 之 间 的 电话 通信 问题 ， 第 二 代 移 动 通信 和 则 使 得 人 
们 可 以 用 手机 上 网 了 。 但 由 于 第 三 代 移动 通信 的 上 网 速率 很 低 ， 人 们 只 能 通过 WAP 方 
式 变相 满足 手机 上 网 需求 ,由 于 网 速 限 制 ，WAP 手机 上 网 方式 仅 能 满足 简单 的 网 页 浏览 等 
功能 。 

为 了 提升 移动 用 户 上 网 速度 ， 3GPP (the 3" Generation Partnerships Project) 提出 了 发 
展 第 三 代 移动 通信 (简称 3G) 的 计划 。 借助 3G 移动 通信 网 络 ， 上 网 速度 可 以 达到 几 十 兆 ， 
大 大 提升 了 移动 用 户 访问 互联 网 的 速度 和 质量 。2008 年 12 月 ， 工 信 部 为 我 国 三 大 运营 商 
发 放 了 3G 牌照， 标志 着 我 国 开始 全 面 到 入 3G 时 代 。 

3G 网 络 虽 然 上 网 速度 快 , 但 受 限 于 无 线 频谱 资源 ， 需 要 采用 基于 流量 收费 的 方式 , 在 
3G 网 络 应 用 的 早期 ， 应 用 和 用 户 都 很 少 ,还 没有 出 现 数据 存储 和 流量 查询 问题 。 后 来 ， 随 
着 移动 互联 网 应 用 的 飞速 发 展 ， 移 动用 户 形 成 的 上 网 记录 快速 增加 ， 每 天 就 有 PB 级 别 的 
数据 量 ， 在 这 种 情况 下 ， 由 于 传统 的 关系 型 数据 库 无 法 实现 IT 基础 设施 资源 的 横向 扩展 ， 
因此 无 法 满足 用 户 对 上 网 记录 的 快速 查询 需求 。 

因此 ， 当 移动 用 户 对 上 网 费用 提出 质疑 并 且 要 求 核实 移动 上 网 数据 时 ， 由 于 电信 运营 
商 无 法 提供 及 时 、 准 确 的 上 网 记录 清单 ， 许 多 情况 下 不 得 不 采用 向 用 户 退 费 的 简单 处 理 方 
式 ， 这 对 电信 运营 商 开展 移动 上 网 业务 造成 了 许多 负面 影响 ， 并 且 导 致 了 企业 大 量 的 收入 
流失 。 

为 了 解决 这 一 问题 ， 人 迫切 需要 电信 运营 商 采 用 先进 的 、 满 足 用 户 对 移动 上 网 记录 快速 
查询 需求 的 解决 方案 。 

2. 问题 分 析 与 方案 设计 


通过 观察 发 现 ， 移 动用 户 上 网 记录 的 主要 特征 是 数据 量 太 大 并 且 数 据 产 生 的 速度 快 ， 
随 着 新 的 上 网 记录 不 断 产 生 ， 传 统 的 关系 型 数据 库存 取 性 能 急剧 下 滑 ， 甚 至 经 常 出 现 查询 
后 “死机 ”的 现象 ， 根 本 无 法 满足 查询 需求 。 

究 其 根源 ， 传 统 的 关系 型 数据 库 产 生 于 事务 型 应 用 盛行 的 时 代 ， 通 常 采用 “主机 + 磁 
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盘 阵 列 ”的 集群 架构 ， 主 机 集群 可 以 满足 多 用 户 高 并 发 的 性 能 需求 ， 磁 盘 阵 列 则 保证 数据 
存放 的 安全 性 。 当 面向 GB 或 者 TB 级 别 的 数据 库 查询 时 ， 系 统 的 响应 时 间 通 常 可 以 提高 
到 几 秒 之 内 ， 还 是 可 以 满足 需求 的 。 如 果 查 询 性 能 下 降 ， 一 般 可 以 通过 横向 扩展 主机 的 方 
式 ， 或 者 通过 纵向 提升 主机 配置 的 方式 来 解决 。 

随 着 移动 数据 业务 的 飞速 发 展 ， 移 动用 户 上 网 记录 数 达 到 每 天 PB 级 别 的 数量 级 ， 那 
么 采用 传统 关系 型 数据 库 的 架构 方式 就 难以 满足 要 求 了 。 
开源 组 织 阿 帕 奇 发 布 的 HBase 是 一 款 分 布 式 列 式 数据 库 ， 对 于 主机 的 要 求 不 高 ， 采 
用 普通 PC 服务 器 即 可 。 由 于 HBase 数据 库 具 有 良好 的 横向 扩展 能 力 ， 并 且 系统 整体 性 能 
随 着 服务 器 资源 的 增加 可 以 实现 线性 提升 。 如 果 把 电信 运营 商 的 移动 用 户 上 网 记录 存储 到 
HBase 数据 库 集群 中 ， 既 能 使 用 开源 数据 库 节 约 成 本 ， 又 能 够 满足 移动 用 户 上 网 记录 大 数 
据 的 查询 性 能 要 求 。 

为 了 不 影响 现 有 生产 系统 (采集 系统 、 计 费 系 统 ) 的 正常 运行 ,电信 运营 商 采 用 在 GGSN 
和 SGSN 两 个 网 关 之 间 部 署 探 针 〔 分 光 器 的 方式 ， 实 现 对 移动 用 户 上 网 记录 的 采集 ， 然 
后 再 通过 各 个 探 针 采 集 的 数据 逐 级 汇聚 到 HBase 集群 中 。 基 于 Hadoop/HBase 实现 对 移动 
用 户 上 网 记录 采集 的 解决 方案 如 图 6-1-1 所 示 。 


\ 


图 6-1-1 关系 型 数据 库 集群 架构 到 分 布 式 集群 架构 的 转变 
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HBase 数据 库 虽 然 能 够 满足 用 户 按照 时 间 段 和 手机 号 码 查询 上 网 记录 明细 的 需求 ， 但 
是 在 多 维度 的 统计 分 析 方 面 能 力 非 常 有 限 。 为 了 实现 按时 间 段 、 按 地 域 、 按 网 络 类 型 等 维 
度 的 统计 ， 需 要 分 布 式 数据 库 HBase 与 传统 关系 型 数据 库 相 互 配 合 ，HBase 负责 提供 少量 
关键 字 的 移动 上 网 记录 明细 查询 功能 ， 比 如 按照 用 户 手 机 号 码 、 目 标 IP、 网 址 URL 等 条 
件 查询 ， 而 原始 的 移动 用 户 上 网 记录 通过 汇总 形成 大 颗粒 度 的 统计 数据 后 进入 关系 型 数据 
库 。 关 系 型 数据 库 可 以 通过 分 区 、 索 引 、 中 间 表 等 方式 提高 统计 分 析 的 效率 。 
通过 采用 开源 分 布 式 数据 库 架 构 方式 ， 解 决 了 移动 用 户 上 网 记录 大 数据 存 取 效 率 的 
问题 ， 为 电信 运营 商 的 业务 部 门 和 通信 用 户 提供 了 关于 移动 上 网 流量 的 真实 赁 证， 节约 
了 电信 运营 商 的 IT 投资 , 提升 了 用 户 感知 , 最 终 提 升 了 电信 运营 商 的 对 外 形象 和 整体 竞争 
能 力 。 


6.1.2 ”应 用 场景 2: 基于 IP 大 数据 设置 内 容 交 付 网 络 节点 


1， 问 题 的 产生 


内 容 分 发 网 络 (Content Delivery Network，CDN)， 是 建立 于 现 有 互联 网 基础 之 上 的 一 
层 智能 虚拟 网 络 ， 其 通过 将 用 户 的 请 求 重新 导向 离 用 户 最 近 的 CDN 节点 ， 使 用 户 可 就 近 
取得 所 需 内 容 ， 解 决 Internet 网 络 拥挤 的 状况 ， 提 高 用 户 访问 网 站 的 响应 速度 。 

随 着 移动 互联 网 时 代 的 到 来 ,“ 平 台 + 应 用 ”的 商业 模式 加 快 了 应 用 创新 的 步伐 ， 应 
用 的 数量 不 断 增 多 。 由 于 同一 应 用 不 一 定 在 所 有 区 域 部 署 ， 因 此 用 户 可 能 需要 跨越 不 同 
省 份 、 不 同 电信 运营 商 网 络 才能 到 达 应 用 。 在 移动 用 户 到 应 用 之 间 的 网 络 路 径 中 ， 跨 越 电 
信和 运营 商 的 网 关 带 宽 有 限 性 成 为 跨 网 访问 的 瓶颈 ， 降 低 了 移动 用 户 的 上 网 速度 和 客户 感知 
水 平 。 
因此 ， 在 移动 互联 网 中 搭建 CDN 是 应 用 发 展 的 需要 ， 也 是 提高 用 户 应 用 访问 速度 的 
有 效 手段 。2009 年 10 月 ，CDN 服务 提供 商 网 宿 科 技 在 深交 所 上 市 ，2010 年 10 月 ，CDN 
服务 提供 商 蓝 汛 (ChinaCache) 在 美国 纳 斯 达 克 证 券 交 易 所 上 市 , 标志 着 CDN 巨大 的 发 展 
潜力 。 

CDN 服务 提供 商 CDN 节点 部 署 的 原则 是 实现 移动 用 户 对 应 用 的 就 近 访 问 。 但 是 现 有 
的 CDN 服务 提供 商 无 法 获知 访问 应 用 的 用 户 归属 地 ， 进 而 无 法 准确 地 在 用 户 请 求 多 的 用 
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户 归 属地 为 用 户 访问 的 应 用 设置 CDN 节点 。 

随 着 CDN 服务 提供 商 与 电信 运营 商 合作 力度 加 大 , 未 来 电信 运营 商 和 CDN 服务 商 合 

作 共 同 在 移动 互联 网 中 搭建 CDN 网 络 成 为 趋势 ， 如 果 能 合理 设置 CDN 节点 ， 就 能 够 帮助 
CDN 解决 方案 提供 商 为 用 户 提供 更 加 快捷 的 网 络 访问 体验 ， 也 可 提高 运营 商 的 应 用 价值 。 
合理 设置 CDN 节点 可 以 实现 包括 移动 用 户 、 电 信 运 营 商 、CDN 服务 提供 商 在 内 的 各 个 参 
与 方 的 共 赢 ， 如 图 6-1-2 所 示 。 


Cy 人 


图 6-1-2 合理 设置 CDN 节点 对 各 个 参与 方 的 价值 


从 图 6-1-2 可 以 看 出 ,合理 设置 CDN 节点 ， 首 当 其 冲 的 受益 者 为 移动 用 户 ， 同 时 可 以 
增加 电信 运营 商 的 收入 ， 增 强 应 用 提供 商 的 客户 黏 性 ， 扩 大 应 用 的 使 用 者 规模 。 因 此 ， 在 
满足 各 方 需要 的 情况 下 ， 如 何 部 署 CDN 节点 成 为 一 个 孜 待 解决 的 问题 。 


2.， 问题 分 析 与 方案 设计 
内 容 交 付 网 络 (CDN) 通过 在 网 络 边缘 节点 部 署 应 用 ， 实 现 用 户 对 应 用 的 就 近 访问 ， 
从 而 提高 了 移动 用 户 应 用 访问 速度 。 移 动用 户 到 应 用 之 间 的 网 络 路 径 越 长 ， 比 如 跨 省 或 者 


跨越 多 个 运营 商 的 通信 网 络 ， 那 么 网 络 延 时 也 就 越 长 ， 如 果 网 络 路 径 需要 穿越 电信 运营 商 
之 间 的 互通 网 关 ， 那 么 互通 网 关 就 会 成 为 影响 上 网 速度 的 最 大 瓶颈 ， 如 图 6-1-3 所 示 。 


| 198 


第 6 音 
腾飞 : 在 实践 中 检验 真理 


A 地 域 B 运 营 商 网 络 


(例如 ， 北 京 联通 ) 
(。) 


. 


C 地 域 D 运 营 商 网 络 
(例如 ， 广 东 移动 ) 


图 6-1-3 互通 网 关 成 为 提升 移动 用 户 上 网 速度 的 瓶颈 


因为 由 于 竞争 关系 ， 电 信和 运营 商 之 间 的 互通 网 关 的 数量 和 带宽 是 非常 有 限 的 ， 因 此 提 
升 移动 用 户 应 用 访问 速度 的 方法 就 是 发 现 移动 用 户 是 否 跨 地 域 、 跨 互通 网 关 访 问 应 用 ， 如 
果 是 ， 则 建议 应 用 提供 商 在 移动 用 户 归 属地 的 电信 运营 商 网 络 内 增加 CDN 节点 。 当 然 ， 
还 需要 对 应 用 价值 和 移动 用 户 价值 高 低 进行 评估 ， 如 果 是 整体 价值 高 ， 则 建议 增加 CDN 
节点 。 通 过 合理 设置 CDN 节点 解决 问题 的 总 体 思路 如 图 6-1-4 所 示 。 

移动 用 户 上 网 记录 是 移动 用 户 访 问 应 用 时 产生 的 ， 移 动用 户 访问 一 个 应 用 或 者 网 页 ， 
都 会 记录 多 条 上 网 记录 ， 累 计 下 来 每 天 都 会 产生 PB 级 别 、 数 百 亿 条 的 上 网 记录 数据 。 

上 网 记录 内 容 包括 移动 终端 、 网 络 、 应 用 三 个 方面 的 信息 。 在 移动 终端 人 出， 包括 IMEI 
(移动 终端 标识 )、IMSI (移动 用 户 标识 )、MSISDN (移动 用 户 号 码 )、 移 动 终端 卫 地 址 等 
信息 ; 在 通信 网 络 侧 ， 包 括 上 网 时 间 、 上 行 数据 流量 、 下 行 数据 流量 、 上 网 时 长 、 网 络 类 
型 、 位 置 区 域 代码 等 信息 ; 在 应 用 侧 ， 包 括 应 用 部 署 瑟 地址、URL (网 址 ) 等 。 
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C 地 域 D 运营 商 网 络 
(例如 , 北京 联通 ) ( ) ~ 


a 借助 移动 用 户 上 
@ 四 ee 网 记录 大 数据 ， 
角 参考 应 用 和 用 户 
价值 ， 将 应 用 部 
署 到 离 用 户 最 近 
的 内 容 分 发 网 络 
(CCDN ) 节点 
C 地 域 D 运 营 商 网 络 
(例如 , 广东 移动 ) 


一 现 有 网 络 路 径 


D 运 营 商 网 络 一 一 推荐 网 络 路 径 


应 用 服务 器 


图 6-1-4 通过 设置 CDN 节点 提升 移动 用 户 上 网 速度 的 方法 
如 果 以 用 户 上 网 记录 大 数据 为 基础 ， 辅 以 关联 数据 ， 就 会 计算 出 用 户 价值 、 应 用 价值 
以 及 网 络 访问 路 径 ， 计 算 方 法 如 图 6-1-5 所 示 。 
| 
\ 
T 


es 


移动 用 户 上 网 记录 结构 


[rma | re] 


UD| 手机 号 | 用 户 价值 || 下地 址 | 归属 地 AID| 目标 IP “| 应 四 价值 
ls | 
2.422 到 
2 |1862345XXX 120 132422 尖 | 国 启 东 移 动 2 | 132.42.2.X 400 
3 |1863456XXX| 210 浙江 电信 3 | 132.42.3.X 150 
n oe 
n as oo 了 a 四 


图 6-1-5 用 户 和 应 用 的 价值 /归属 地 的 计算 方法 
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其 中 ， 用 户 ARPU= 流 量 X 时 长 X 资 费 ， 应 用 流量 = 区 目标 人 P 对 应 流量 。 

完成 用 户 和 应 用 的 价值 /归属 地 的 计算 后 ,还 需要 从 价值 和 归属 地 维度 进行 排名 。 用 户 
归属 地 与 应 用 归属 地 不 一 致 ， 才 会 形成 设置 新 的 CDN 节点 的 需求 。 用 户 和 应 用 价值 越 高 ， 
设置 新 的 CDN 节点 才 更 有 意义 。 

不 同 角度 的 价值 排名 如 图 6-1-6 所 示 。 


四 二 
~ 
应 用 归属 地 N| 


图 6-1-6 不 同 角度 的 价值 排名 


在 图 6-1-6 中 ， 思 路 1 为 从 用 户 归 属地 到 出 访 区 域 价值 排名 ; 在 图 6-1-6 中 ， 思 路 2 为 
先 从 全 区 域 应 用 价值 排名 ， 然 后 再 以 应 用 的 访问 来 源 区 域 价值 排名 。 

需要 注意 的 是 ， 应 用 价值 是 流量 带 来 的 热度 价值 /总 流量 和 区 域 用 户 带 来 的 收入 /用 户 
带 来 的 总 收入 的 归 一 化 结果 。 

以 上 方案 的 各 个 参与 方 均 能 够 获得 价值 提升 。 移 动用 户 可 以 获得 更 快 的 应 用 访问 速度 
和 更 好 的 应 用 使 用 体验 。 应 用 提供 商 可 以 增强 用 户 夭 性 ， 扩 大 用 户 规模 。 电 信 运 营 商 则 能 
够 增加 IDC 业务 收入 。 


3. 实施 思路 、 方 法 及 关键 点 


上 述 方案 中 思路 1 为 从 用 户 归 属地 到 出 访 区 域 价值 排名 ,CDN 节点 设置 方法 如 图 6-1-7 
所 示 。 
上 述 方案 中 思路 2 为 先 从 全 区 域 应 用 价值 排名 ,再 按 应 用 访问 来 源 区 域 价值 排名 , CDN 
节点 设置 方法 如 图 6-1-8 所 示 。 
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例如 : 北京 联通 


为 应 用 提供 商 提供 


CDN 建议 用 户 归属 地 | 应 用 名 称 | 应 用 归属 地 | 应 用 价值 | 排名 


人 


图 6-1-7 CDN 节点 设置 方法 1: 从 用 户 归属 地 到 出 访 区 域 价值 排名 


-ee 应 用 名 称 应 用 归属 地 来 源 区 域 价值 排名 
C 


DN 节点 设置 建议 
ET 


\_ 


图 6-1-8 CDN 节点 设置 方法 2: 先 从 全 区 域 应 用 价值 排名 ， 再 以 应 用 访问 来 源 区 域 价值 排名 
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说 明 : 在 图 6-1-7 和 图 6-1-8 所 述 的 实施 方案 中 , 设置 “第 一 阔 值 `“ 第 二 阔 值 ”和 “第 
三 阔 值 ”， 目 的 是 为 了 过 滤 掉 不 符合 要 求 的 项 目 。 

仅仅 依靠 移动 用 户 上 网 记录 大 数据 并 不 能 计算 出 用 户 价值 、 应 用 价值 以 及 网 络 访问 路 
径 ， 因 此 可 以 说 移动 用 户 上 网 记录 是 不 完整 的 。 

第 一 ， 移 动用 户 上 网 记录 中 的 关于 应 用 的 信息 主要 为 网 页 URL， 并 没有 非 网 页 应 用 的 
信息 ， 因 此 要 得 到 IP 地 址 对 应 的 应 用 信息 ， 必 须 依靠 与 应 用 提供 商 合作 ， 获 取 了 瑟 地 址 与 
应 用 映射 关系 数据 ， 数 据 越 丰富 、 越 及 时 、 越 准确 ， 就 越 能 够 正确 地 做 出 CDN 节点 设置 
决策 。 

第 二 , 关于 人 P 地 址 与 区 域 映射 关系 ， 由 于 竞争 关系 和 安全 考虑 ， 电 信和 运营 商 往往 难以 
获取 其 他 电信 运营 商人 P 地 址 与 区 域 映射 关系 的 准确 数据 , 这 也 是 影响 网 络 路 径 计算 非常 重 
要 的 因素 。 

因此 ， 要 想 运 用 移动 用 户 上 网 记录 大 数据 解决 CDN 节点 设置 问题 ， 关 键 是 要 不 断 改 
善 数据 的 完整 性 。 


6.2 大 数据 在 金融 行业 的 应 用 


金融 的 本 质 是 信用 ， 其 作用 是 全 社会 资源 配置 ， 其 管理 的 难点 是 风险 ,应 当 引 全 社会 资源 之 水 ， 
灌溉 资金 供需 之 田 ， 收 获 效率 提升 与 风险 可 控 之 果 。 


金融 行业 具有 银行 、 保 险 公司 、 共 同 基金 等 金融 机 构 ， 经 营 存 贷 款 、 证 券 、 基 金 、 保 
险 、 债 券 等 业务 。 金 融 机 构 通过 货币 经 营 ， 满 足 了 货币 供需 参与 方 需求 ， 实 现 了 货币 资金 
的 重新 配置 ， 提 高 社会 经 济 运行 效率 。 

在 金融 交易 中 ， 对 于 货币 或 者 实物 的 提供 方 ， 可 以 通过 提供 资金 而 获得 利息 、 租 金 等 
报酬 ， 对 于 货币 或 者 实物 的 使 用 方 ， 应 当 为 资金 提供 方 缴纳 利息 、 租 金 等 ， 对 于 提供 各 种 
增值 服务 的 金融 机 构 ， 则 通过 提供 金融 服务 而 获得 经 营 收 入 。 

金融 的 本 质 是 信用 。 人 金融 企业 一 方面 需要 管理 好 客户 的 信用 ， 降 低 运 营 风险 ， 另 一 方 
面 ， 则 需要 通过 多 种 渠道 融资 ， 降 低 资 金成 本 和 流动 性 风险 。 不 同 于 提供 产品 和 服务 的 生 
产 型 企业 ， 金 融 企 业 的 主要 任务 是 管理 金融 风险 。 如 果 金 融 企业 对 收益 一 方 的 信用 判断 失 
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误 ， 就 会 对 金融 企业 造成 经 济 损失 。 可 见 ， 信 用 管理 对 于 金融 企业 至 关 重 要 。 

在 移动 互联 网 和 大 数据 时 代 ， 信 息 化 已 经 逐步 占据 人 类 生产 与 生活 的 各 个 角落 ， 企 业 
行为 和 个 人 行为 都 被 记录 下 来 。 由 于 各 种 信息 日 益 公 开 和 透明 ， 企 业 属 性 和 行为 以 及 个 人 
的 属性 和 行为 数据 ， 成 为 金融 机 构 完 成 信用 评估 的 重要 数据 基础 。 
快速 、 准确 地 完成 信用 评估 , 可 以 帮助 金融 机 构 降 低 生产 经 营 风险 , 提高 市 场 竞 争 力 ， 
也 可 以 帮助 需要 资金 的 企业 或 个 人 更 快 地 获得 所 需 的 资金 。 可 见 ， 提 升 信用 评估 能 力 可 以 
实现 金融 机 构 及 其 客户 之 间 的 双赢 。 

要 完成 信用 评估 ， 需 要 收集 资金 使 用 方 的 各 种 数据 。 对 于 银行 贷款 业务 ， 需 要 收集 客 
户 的 历史 交易 数据 、 工 资 水 平 、 受 雇 企 业 的 性 质 、 学 历 高 低 等 ， 对 于 汽车 保险 业务 ， 需 要 
收集 客户 的 历史 违章 数据 ， 对 于 生命 保险 业务 ， 需 要 收集 客户 的 健康 数据 ， 等 等 。 不 同 的 
金融 业务 对 于 客户 的 关注 点 不 同 ， 通 过 基于 对 相关 数据 的 收集 和 分 析 ， 可 以 达到 信用 评估 
的 目的 。 当 然 ， 并 不 是 所 有 的 信用 评价 都 可 以 直接 量化 的 ， 有 些 信用 评价 指标 还 需要 采用 
定性 和 定量 相 结 合 的 方式 计算 出 来 。 

为 了 提高 信用 评估 的 准确 性 和 及 时 性 ， 企 业 应 当 借助 大 数据 ， 逐 步 减少 定性 因素 ， 增 
加 定量 因素 。 

在 未 来 的 移动 互联 网 时 代 ， 发 展 趋势 是 社会 化 分 工 更 加 细致 ， 这 是 社会 发 展 的 必然 要 
求 : 信息 技术 和 互联 网 为 新 型 的 社会 分 工 提供 了 工具 和 手段 ， 越 来 越 多 的 小 微 企 业 成 为 社 
会 发 展 的 新 动力 。 因 此 ， 对 于 小 微 企 业 的 信用 评估 也 变 得 非常 重要 ， 笔 者 以 阿里 金融 为 案 
例 ， 分 析 企 业 如 何 利用 大 数据 完成 小 微 企业 的 信用 评估 。 

于 信用 评估 对 象 具 有 不 同 的 属性 和 行为 特点 ， 因 此 对 于 个 人 、 大 中 型 企业 、 小 微 企 
业 信 用 评估 时 ， 关 注 点 是 不 同 的 。 本 章 从 信用 评估 对 象 的 类 型 角度 ， 分 别 给 出 实现 大 中 型 
企业 、 小 微 企业 以 及 个 人 信用 评估 的 思路 与 方法 。 


6.2.1 ”应 用 场景 1: 大 中 型 企业 信用 评估 新 思路 


从 年 销售 收入 和 资产 总 额 的 角度 看 ， 年 销售 收入 和 资产 总 额 大 于 5000 万 元 的 称 为 大 
中 型 企业 。 大 中 型 企业 有 着 与 小 微型 企业 不 一 样 的 特点 。 大 中 型 企业 的 项 目 规模 大 ， 项 目 
周期 长 、 风 险 高 ， 因 此 ， 对 于 大 中 型 企业 的 信用 评估 也 有 着 与 小 微型 企业 不 一 样 的 特点 。 
下 面 以 两 个 国有 大 型 金融 企业 对 于 大 中 型 企业 的 信用 评价 方法 为 例 ， 说 明 大 中 型 企业 
信用 评估 的 一 般 方法 ， 然 后 再 分 析 大 数据 时 代 ， 企 业 如 何 改 进 对 于 大 中 型 企业 的 信用 评估 
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方法 。 
1. 金融 机 构 对 企业 的 传统 信用 评估 方法 


首先 以 某 大 型 国有 银行 的 信用 评估 模型 为 例 。 某 大 型 国有 银行 对 于 大 中 型 企业 信用 评 
估 主 要 关注 被 评 企业 的 领导 者 素质 、 经 济 实力 、 资 金 结构 、 经 营 效益 、 信 誉 情况 、 发 展 前 
景 等 几 个 方面 。 

企业 领导 者 对 于 企业 的 生产 经 营 起 着 至 关 重 要 的 作用 ， 领 导 者 素质 包括 领导 者 的 教育 
经 历 、 工 作 经 历 、 工 作 能 力 、 工 作业 绩 、 职 业 操 守 等 方面 ; 

企业 经 济 实力 包括 实 有 净 资 产 、 有 形 长 期 资产 、 人 均 实 用 净 资 产 几 个 方面 ， 企 业经 济 
实力 指标 体现 了 企业 的 资产 风险 ; 

资金 结构 包括 资产 负债 率 、 速 动 比率 、 流 动 比 率 、 经 营 活动 现金 净 流量 几 个 方面 ， 资 
金 结构 指标 体现 了 企业 的 财务 风险 ; 

经 济 效益 包括 总 资产 净利 率 、 销 售 利润 率 、 利 息 保障 倍数 、 应 收 账 款 票据 周期 次 数 ， 
经 济 效益 指标 体现 了 企业 的 经 营 能 力 与 经 营 风险 ; 

信誉 状况 包括 贷款 质量 、 贷 款 付 息 、 存 贷款 占 比 ， 信 誉 状况 指标 体现 了 企业 的 资金 
风险 ; 

发 展 前 景 包括 近 三 年 利润 情况 、 销 售 增长 率 、 资 本 增值 率 、 行 业 发 展 状况 、 市 场 预期 
状况 、 主 要 产品 寿命 、 销 售 渠道 ， 发 展 前 景 指标 体现 了 企业 经 营 风 险 。 

企业 信用 评级 体系 采用 百分制 计 分 ,分 为 AAA、AA、A、BBB、BB、B、F 等 级 ， 从 
高 到 低 进行 排序 ,标识 了 企业 所 处 的 信用 等 级 。AAA 级 最 高 ,代表 着 企业 有 很 强 的 市 场 竞 
争 力 和 很 好 的 发 展 前 景 ， 企 业 流动 性 很 好 ， 管 理 水 平 很 高 ， 并 且 有 很 强 的 偿 债 能 力 ; F 级 
最 低 ， 表 示 企 业 不 符合 国家 环保 、 产 业 、 信 贷 等 有 关 政 策 ， 属 于 可 疑 或 者 损失 类 企业 。 

企业 信用 等 级 有 效 期 为 一 年 ， 如 果 在 一 年 之 内 ， 企 业经 营 状况 发 生 重大 变化 ， 例 如 重 
大 建设 项 目 、 重 大 法 律 诉讼 、 重 大 人 事 调整 等 ， 那 么 需要 重新 评级 。 

企业 信用 评级 采用 定性 和 定量 相 结合 的 方法 ， 主 要 从 市 场 竞争 力 、 资 产 流动 性 、 管 理 
水 平等 几 个 方面 评定 ， 评 级 指标 分 类 如 下 。 

(1) 市 场 竞争 力 : 经 营 环境 、 质 量 管理 体系 、 市 场 拓展 和 销售 渠道 等 ; 

(2) 资产 流动 性 : 流动 比率 、 速 动 比率 、 应 收 账 款 周转 率 等 ; 

(3) 管理 水 平 ， 主 要 管理 人 员 素 质 和 经 验 、 资 产 报酬 率 等 ; 

(4) 其 他 方面 : 资产 负债 率 、 行 业 发 展 前 景 、 重 大 事项 分 析 结 果 等 。 
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2. 大 数据 时 代 企 业 信 用 评估 的 新 思 


通过 对 传统 信用 评估 方法 的 分 析 可 以 看 出 ， 金 融 机 构 对 于 大 中 型 企业 的 信用 评估 更 多 
地 从 企业 财务 状况 、 经 营 状 况 、 发 展 前 景 等 几 个 方面 来 进行 评估 ， 更 多 地 依赖 信用 评估 人 
员 的 分 析 报告 这 样 的 定性 评估 方式 ， 然 后 再 用 评分 的 方式 进行 量化 ， 信 用 评估 人 员 的 知识 
能 力 和 经 验 水 平 对 信用 评估 结果 起 到 非常 重要 的 影响 ， 信 用 评估 结果 存在 很 多 主观 因素 。 

从 金融 机 构 对 大 中 型 企业 信用 评估 的 方法 可 以 看 出 ， 金 融 机 构 利用 大 数据 实现 信用 评 
估 是 有 很 大 难度 的 。 金 融 机 构 可 以 在 传统 信用 评估 的 基础 上 ， 逐 步 引入 大 数据 ， 降 低 因 评 
估 人 员 的 知识 和 经 验 形成 的 主观 偏差 ， 逐 步 加 大 信用 评估 模型 中 “定量 ”指标 的 比例 ， 让 
信用 评估 结果 更 加 准确 ， 更 具有 决策 参考 性 。 


< 


6.2.2 ”应 用 场景 2: 小 微 企 业 信用 评估 新 思 


小 微 企业 是 小 型 企业 、 微 型 企业 、 家 庭 作坊 式 企业 、 个 体 工商 户 的 统称 。 大 中 型 企业 
的 特点 是 数量 少 、 单 个 项 目的 信用 风险 大 ， 因 此 对 于 信息 系统 的 依赖 性 小 ， 信 用 评价 的 难 
点 为 尽职 调查 阶段 收集 数据 的 可 靠 性 以 及 评价 人 员 的 经 验 。 

与 大 中 型 企业 相 比 ， 小 微 企 业 数 量 多 并 且 企业 生命 周期 短 ， 因 此 不 可 能 像 对 待 大 中 型 
企业 那样 进行 尽职 调查 和 信用 评估 。 同 时 ， 小 微 企业 在 市 场 竞争 环境 中 ， 不 像 大 中 型 企业 
那样 具有 资源 和 市 场 优势 ， 需 要 快速 地 完成 信用 评估 并 取得 生产 经 营 所 需 的 资金 。 


1. 传统 小 微 企业 的 信用 评价 方法 


小 微 企业 传统 的 信用 评估 分 为 财务 因素 和 非 财务 因素 两 类 指标 。 财 务 相 关 的 指标 包括 
偿 债 能 力 、 经 营 能 力 、 鼻 利 能 力 等 ， 非 财务 相关 的 指标 包括 企业 领导 人 素质 、 企 业 素质 、 
政策 环境 、 合 作 关系 等 。 

财务 因素 中 的 偿 债 能 力 体 现 了 小 微 企业 的 抗 风险 能 力 ， 包 括 资 产 负债 率 、 现 金 比率 、 
主要 资产 、 或 有 负债 等 ; 经 营 能 力 包括 主 营 业务 增长 率 、 应 收 账 款 周转 次 数 、 纳 税 情况 等 ; 
熏 利 能 力 包括 净 利润 增长 率 、 净 资产 收益 率 等 。 

非 财务 因素 中 的 企业 负责 人 应 当 是 实际 控制 人 ， 小 微 企业 负责 人 的 素质 决定 了 小 微 企 
业 的 经 营 能 力 ， 包 括 企 业 负责 人 的 个 人 品质 、 信 用 记录 、 从 业 年 限 、 学 历 、 健 康 状 况 等 ; 
企业 的 素质 方面 包括 管理 能 力 、 管 理 团 队 、 市 场 竞 争 力 、 公 司 成 立 年 限 、 企 业 信 用 记录 等 
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政策 环境 对 于 小 微 企业 也 有 很 大 的 影响 ， 包 括 行业 集中 度 、 行 业 政 策 、 区 域 环境 等 ， 如 果 
小 微 企业 为 仓储 业 ， 那 么 其 生产 经 营 场所 、 仓 库 面 积 利用 率 等 因素 对 于 信用 评价 也 有 很 大 
的 影响 。 


2. 大 数据 时 代 小 微 企业 的 信用 评价 方法 


信息 通信 技术 改变 了 人 们 工作 和 生活 的 方式 ， 提 高 了 社会 效率 和 生活 的 便利 性 ， 小 微 
企业 的 采购 、 销 售 等 生产 经 营 活动 被 记录 下 来 。 小 微 企 业 的 行为 痕迹 对 于 小 微 企业 的 信用 
评价 具有 非常 重要 的 作用 。 

于 小 微 企业 具有 数量 多 、 融 资 频率 高 、 融 资 需求 额度 小 的 特点 ， 更 适合 通过 借助 系 
统 快速 实现 对 小 微 企 业 的 信用 评价 。 要 完成 快速 的 信用 评价 和 放贷 ， 金 融 企业 势必 要 承担 
比 传统 信用 评价 方式 更 高 的 经 营 风险 。 

金融 机 构 的 工作 难点 在 于 金融 风险 的 管理 ， 而 利率 就 是 基于 风险 大 小 确定 的 ， 贷 款 预 
期 风险 越 高 ， 放 贷 利率 越 高 ， 贷 款 预期 风险 越 低 ， 则 放贷 利率 越 低 。 统 计 学 的 大 数 定律 理 
论说 明 : 当 试 验 次 数 足 够 多 时 ， 事 件 出 现 的 频率 无 穷 接 近 于 该 事件 发 生 的 概率 ， 这 是 偶然 
现象 背后 存在 的 必要 规律 。 根 据 大 数 定律 理论 ， 可 以 预见 小 微 企业 的 平均 贷款 风险 趋 于 预 
期 贷款 风险 ， 因 此 可 以 利用 小 微 企业 的 总 体 预期 贷款 损失 率 来 代替 每 一 笔 小 微 企业 贷款 预 
期 损失 率 ， 这 样 可 以 降低 利率 计算 的 难度 ， 提 升 对 小 微 企 业 的 放贷 效率 ， 金 融 机 构 可 以 争 
取 到 更 多 的 小 微 企 业 客户 。 

与 小 微 企业 相对 应 的 是 小 额 贷款 。 小 额 贷款 具有 期 限 短 、 额 度 小 、 随 借 随 还 的 特点 ， 
因此 更 需要 金融 机 构 快 速 做 出 贷款 决策 。 

放贷 可 以 分 为 贷 前 、 贷 中 和 贷 后 三 个 阶段 ， 要 完成 对 小 微 企业 的 放贷 ， 就 需要 快速 完 
成 对 小 微 企业 的 信用 评估 ， 确 定 授信 额度 ， 并 且 通 过 对 放贷 后 小 微 企 业 的 生产 经 营 行为 进 
行 实时 监控 和 风险 预警 ， 尽 早 发 现 和 规避 风险 ， 对 于 确认 为 具有 人 金融 欺诈 行为 的 企业 ， 应 
当 采 取 严 历 的 惩罚 措施 。 

在 贷 前 阶段 ， 主 要 任务 是 完成 客户 的 初步 授信 工作 。 小 微 企业 在 电子 商务 平台 上 积累 
的 交易 记录 是 确定 授信 额度 的 主要 参考 内 容 ， 交 易 记录 中 具有 小 微 企业 的 采购 、 物 流 、 库 
存 以 及 销售 数据 ， 可 以 反映 小 微 企 业 的 生产 经 营 能 力 和 财务 能 力 。B2C 模式 中 客户 对 于 企 
业 产 品 和 服务 的 评价 、B2B 模式 中 供应 商 和 合作 伙伴 对 于 小 微 企业 的 评级 ， 也 是 信用 评估 
的 重要 数据 来 源 。 此 外 ， 还 可 以 从 金融 管理 机 构 《〈 比 如 中 国人 民 银 行 ) 获取 小 微 企 业 的 信 
用 记录 。 
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在 贷 中 阶段 ， 主 要 完成 对 小 微 企业 的 审查 工作 ， 审 查 目标 是 确定 小 微 企 业经 营 者 的 诚 
信和 度 。 由 于 小 微 企业 数量 众多 ， 可 以 采用 分 析 远 程 视频 采访 录像 的 方法 ， 测 试 小 微 企业 经 
营 者 贷款 意图 是 否 存 在 撒谎 行为 。 

在 贷 后 阶段 ， 主 要 目标 是 降低 小 微 企业 的 本 金 和 利息 偿还 风险 。 企 业 可 以 通过 监控 小 
微 企 业 资 金 运用 情况 ， 掌 握 小 微 企 业 的 贷款 是 否 按照 事先 的 计划 从 事 生产 经 营 活 动 ， 比 如 
是 否 将 贷款 用 于 广告 投放 并 因 广 告 投放 而 增加 了 交易 数 ， 是 否 将 资金 用 于 采购 销售 品 等 。 
如 果 发 现 小 微 企业 贷款 后 并 没有 出 现 采 购 、 营 销 等 行为 ， 并 且 销 售 量 也 没有 因 新 的 资金 注 
入 而 发 生变 化 ， 那 么 就 需要 进行 风险 提醒 和 预警 。 对 于 未 按 合 同 约定 逾期 还 款 的 ， 则 需要 
按 约定 支付 罚 息 ， 对 于 逾期 一 定期 限 未 还 款 的 ， 则 需要 将 该 小 微 企 业 放 入 黑 名 单 并 进行 全 
网 通缉 ， 进 行 更 加 严厉 的 制裁 ， 让 该 小 微 企业 为 不 诚信 行为 付出 很 高 的 代价 。 

阿里 巴巴 是 互联 网 企业 为 小 微 企业 提供 小 额 贷款 服务 的 典范 ， 可 以 为 处 于 弱势 地 位 的 
小 微 企 业 提 供 传统 金融 渠道 无 法 提供 的 小 额 贷款 服务 。 阿 里 巴巴 具有 像 淘 宝 和 天 猫 这 样 面 
向 大 众 的 B2C 电子 商务 平台 ， 有 面向 供应 商 和 批发 商 的 B2B 电子 商务 平台 1688 等 ， 这 些 
电子 商务 平台 中 记录 的 市 场 推广 、 交 易 、 评 价 等 数据 成 为 对 小 微 企业 授信 的 “信息 流 ” 维 
度数 据 源 ; 支付 宝 可 以 记录 小 微 企 业 的 现金 流 ,成 为 “资金 流 ” 维 度 的 数据 源 ;“ 菜 鸟 网 络 ” 
等 物流 平台 上 记录 了 小 微 企 业 的 采购 、 库 存 等 数据 ， 成 为 “物流 ”维度 的 数据 源 。 阿 里 小 
微 金融 信用 评估 数据 体系 如 图 6-2-1 所 示 。 


图 6-2-1 阿里 小 微 金融 信用 评估 数据 体系 
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丰富 完整 的 电子 商务 数据 源 成 为 阿里 巴巴 对 小 微 企业 授信 的 数据 基础 和 关键 ， 成 为 阿 

里 巴巴 在 小 微 企业 信用 评估 领域 独特 的 竞争 力 ， 来 自 外 部 的 其 他 数据 源 对 于 信用 评估 也 起 

到 重要 的 辅助 作用 。 此 外 ， 采 用 视频 采访 、 社 会 关系 调查 等 获取 的 非 结 构 化 数据 和 软 数据 
等 提高 了 信用 评估 的 准确 性 ， 成 为 信用 评估 的 重要 补充 。 


6.2.3 ”应 用 场景 3: 个 人 信用 评估 新 思路 


1. 个 人 信用 评估 的 典范 : FICO 评分 系统 


FICO 评分 系统 由 成 立 于 20 世纪 50 年 代 的 费 埃 哲 (Fair Isaac) 公司 发 明 ， 该 公司 名 字 
为 创始 人 Bi Fair 和 Earl Isaac 两 人 姓名 的 首 字母 。 随 着 计算 机 技术 的 发 展 和 应 用 ，FICO 
评分 系统 得 到 了 快速 而 广泛 的 应 用 ， 并 逐渐 成 为 美国 征 信 业 事实 上 的 国家 标准 。 

1970 年 ， 费 埃 哲 公司 开始 向 银行 出 售 信用 评分 。1989 年 ， 开 始 开发 FICO( 费 埃 哲 ) 
分 数 。FICO 面向 个 人 征 信 ， 分 数 范围 为 300 分 到 850 分 。 其 中 ，680 分 以 上 为 信用 卓越 ， 
620 分 以 下 则 需要 增加 担保 或 者 拒绝 贷款 。FICO 可 以 快速 、 客 观 地 量度 个 人 风险 。 信 用 信 
息 越 早 ， 对 于 信用 评估 的 影响 越 小 。 美 国 的 三 大 征 信 公 司 : 益 百 利 〈Experian)、 艾 克 发 
(CEquifax) 和 环 联 (Trans union) 的 信用 评估 模型 都 是 以 FICO 为 基础 的 ， 评 估 模 型 和 评估 
结果 均 差 别 不 大 。 

FICO 评分 系统 中 包含 了 完整 的 个 人 信用 信息 和 多 年 (7 一 10 年 ) 的 个 人 信用 记录 。 个 
人 信用 相关 的 信息 包括 来 自 商业 部 门 和 社会 公共 事业 部 门 的 记录 。 商 业 部 门 包括 银行 、 保 
险 、 证 券 等 ， 比 如 银行 信用 记录 、 保 险 信 用 记录 、 证 券 信 用 记录 等 ， 社 会 公共 事业 部 门 包 
括 公 安 、 法 院 、 税 务 等， 比如 违法 犯罪 记录 、 法 律 诉讼 记录 、 所 得 税 缴费 记录 等 。 

FICO 关注 的 因素 分 为 5 类 ， 即 客户 信用 偿还 历史 、 信 用 账户 数 、 使 用 信用 年 限 、 正 
在 使 用 的 信用 类 型 以 及 新 开 立 的 信用 账户 。 下 面 分 别 进行 说 明 

1) 客户 信用 偿还 历史 

是 5 个 因素 中 最 重要 的 因素 ， 在 整个 信用 评分 中 占 比 大 约 为 33%。 有 具体 包括 : 

。 各 种 信用 账户 的 还 款 记录 ， 包 括 信用 卡 、 分 期 偿还 贷款 、 抵 押 贷 款 等 

。 公开 记录 及 支票 贷款 记录 ， 包 括 破产 记录 、 法 律 诉讼 事件 等 ; 

。 预期 偿还 情况 ， 包 括 逾期 天 数 、 未 偿还 金额 、 逾 期 还 款 次 数 、 逾 期 发 生 距 离 现 在 的 

时 间 长 度 等 。 
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2) 信用 账户 数 

主要 反映 客户 的 整体 还 款 能 力 ， 比 客户 信用 偿还 历史 的 重要 性 要 低 ， 在 整个 信用 评分 
中 占 比 大 约 为 30%。 

3) 使 用 信用 的 年 限 

体现 了 信用 账户 的 账 龄 ， 在 整个 信用 评分 中 占 比 大 约 为 10%。 

4) 正在 使 用 的 信用 类 型 

主要 是 针对 多 个 账户 混合 使 用 的 情况 ， 对 于 客户 来 说 ， 可 能 会 具有 多 个 不 同类 型 的 账 
户 ， 比 如 信用 卡 账户 、 零 售 账户 、 分 期 付款 账户 、 金 融 公司 账户 、 抵 押 贷 款 账 户 等 ， 不 同 
的 账户 类 型 其 风险 系数 是 不 同 的， 因此 要 区 别 对 待 。 正 在 使 用 的 信用 类 型 在 整个 信用 评分 
中 大 约 占 10% 的 比例 。 

5) 新 开 立 信用 账户 数 

体现 了 客户 信用 风险 的 程度 ， 如 果 客 户 在 短 时 间 内 开 立 了 多 个 信用 账户 ， 那 么 该 客户 
的 资金 偿还 风险 一 定 会 高 一 些 。 新 开 立 信用 账户 数 在 整个 信用 评分 中 大 约 占 10% 的 比例 。 

此 外 , 为 了 尊重 个 人 隐私 , 种 族 、 肤色 、 宗教 、 性 别 、 婚姻 状 况 等 个 人 基本 信息 在 FICO 
评分 系统 中 不 参与 评分 ， 而 工资 、 职 业 、 头 衔 、 雇 主 、 受 雇 时 间 、 受 雇 历 史 等 工作 相关 信 
息 仅仅 作为 评分 的 参考 项 ， 同 样 不 直接 参与 评分 。 


2. 我 国 个 人 信用 评估 案例 : WeCash 


FICO 评分 系统 是 根据 美国 国情 而 发 展 起 来 的 ， 许 多 评价 方法 在 我 国 并 不 适用 ， 我 们 
一 方面 需要 参考 FICO 的 信用 评价 方法 ， 同 时 也 需要 政府 部 门 构建 信用 评估 方法 和 体系 。 
商业 机 构 和 社会 公共 事业 部 门 需要 对 外 开放 信用 评估 所 需 的 数据 ， 借 助 科 学 、 客 观 、 有 效 
的 评估 指标 和 评估 方法 ， 逐 步 完善 金融 体系 ， 帮 助 企业 更 加 精确 地 估计 消费 信贷 风险 ， 提 
升 工作 效率 。 

2014 年 ， 国 内 首 家 大 数据 信用 评估 公司 Wecash (内 银 ) 获得 IDG 4000 万 元 的 A 轮 投 
资 ， 公 司 佑 值 两 个 亿 ， 拉 开 了 国内 采用 大 数据 实现 企业 信用 评估 的 序幕 。 

在 信用 价值 领域 ， 我 国境 内 所 谓 的 信用 卡 具有 申办 流程 和 所 需 资 料 复杂 ， 办 理 期 限 元 
长 ， 银 行 信用 价值 在 实际 生活 中 的 应 用 非常 受 限 ， 而 Wecash 可 以 通过 大 数据 分 析 和 机 器 
学 习 , 对 传统 银行 的 信用 评估 模型 进行 精简 , 无 须 提供 材料 , 大 部 分 数据 基础 是 个 人 的 SNS 
数据 、 互 联网 搜索 数据 等 行为 数据 , 可 以 将 整个 评估 流程 控制 在 20 分 钟 以 内 。 此 外 , Wecash 
还 可 以 利用 互联 网 行为 转化 为 “互联 网 信用 ”， 从 而 拓展 了 应 用 场景 ， 例 如 可 以 应 用 于 公 
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司 招聘 等 。 
6.3 大 数据 在 互联 网 行业 的 应 用 


互联 网 强调 平等 、 协 作 、 去 中 心 化 ， 通 过 搜索 、 社 交 、 购 物 等 互联 网 应 用 沉淀 下 来 的 海量 数据 ， 
成 为 推动 社会 创新 发 展 的 催化 剂 。 


互联 网 始 于 1969 年 的 美国 ， 又 称 因特网 ， 以 “开放 、 合 作 、 创 新 ”为 特征 的 互联 网 
经 过 近 半 个 世纪 的 发 展演 进 ， 发 生 了 翻天 履 地 的 变化 ， 大 大 改变 了 人 类 的 工作 与 生活 。 

互联 网 经 济 也 称 为 眼球 经 济 、 无 摩擦 经 济 ， 可 见 互联 网 公司 必须 积攒 人 气 才 行 。 因 为 
其 进入 门槛 比较 低 ， 竞 争 激烈 ， 互 联网 公司 必须 借助 丰富 的 内 容 和 优质 的 服务 来 吸引 并 留 
住 客户 ， 增 强 客户 黏 性 是 互联 网 公司 的 第 一 要 务 。 

在 互联 网 上 ， 人 们 不 仅 可 以 浏览 与 分 享 信息 、 沟 通 交流 ， 同 时 也 可 以 进行 交易 。 与 传 
统 商 业 模 式 不 一 样 ， 基 于 互联 网 的 交易 直接 打通 买卖 双方 ， 减 少 了 渠道 分 销 等 中 间 环 节 ， 
因此 又 称 为 无 摩擦 经 济 。 

互联 网 公司 为 客户 提供 各 种 产品 和 服务 的 同时 ， 留 下 了 大 量 的 接触 “痕迹 ”， 比 如 浏 
览 、 搜 索 、 登 录 、 退 出 、 下 单 、 投 诉 、 咨 询 、 建 议 等， 这 些 行为 轨迹 可 以 反映 客户 特征 ， 
让 互联 网 公司 更 好 地 把 握 客户 需求 , 推送 符合 客户 需求 的 产品 和 服务 , 提升 产品 销售 能 力 。 

大 数据 与 互联 网 的 关系 最 为 紧密 。 大 数据 在 互联 网 领域 的 典型 应 用 就 是 搜索 ， 搜 索 是 
人 们 通过 互联 网 获取 信息 的 入 口 ， 搜 索 服务 的 基础 就 是 Web 内 容 大 数据 ，Web 内 容 是 半 结 
构 化 的 , 同时 由 于 互联 网 人 人 都 是 内 容 的 创造 者 , 因此 Web 内 容 产 生 的 速率 也 是 非常 快 的 。 
以 谷歌 、 雅 虎 为 代表 的 互联 网 公司 解决 了 Web 数据 海量 存 取 问题 , 成 为 大 数据 技术 发 展 的 
先行 者 。 

本 章 主要 分 析 大 数据 在 社交 网 络 和 电子 商务 领域 的 应 用 。 


6.3.1 应 用 场景 1: 大 数据 在 社交 网 络 领域 的 应 用 


1989 年 ， 万 维 网 之 父 蒂 姆 。 伯 纳 斯 。 李 (Tim Bemers-Lee) 发 明了 World Wide Web， 
即 当前 互联 网 应 用 广泛 的 WWW (3W)。 伯 纳 斯 。 李 认为 Web 的 最 终 目 标 帮 助人 们 实现 像 
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Web 一 样 的 存在 方式 ， 直 至 20 年 后 的 今天 ，WWW 确 如 伯 纳 斯 。 李 希望 的 那样 ，WWW 
就 像 蜂 蛛网 一 样 ， 渗 透 到 人 们 工作 与 生活 的 各 个 方面 。 

Web 发 展 的 三 个 阶段 ， 业 界 将 其 定义 为 Web1.0、Web2.0 和 Web3.0。 

Web1.0 阶段 以 门户 网 站 为 代表 , 信息 以 类 似 于 广播 电台 的 单 向 方式 传播 ， 用户 通常 是 
借助 Web 门户 获取 信息 的 ， 典 型 应 用 有 BBS、 新 闻 网 站 。 

Web2.0 体现 了 互联 网 人 人 参与 的 思想 ， 每 个 网 民 既 是 Web 内 容 的 消费 者 ， 同 时 又 是 
Web 内 容 的 提供 者 ， 典 型 应 用 有 博客 、Wiki、IM (即时 消息 ) 等 ，Web2.0 给 予 了 广大 草 
根 网 民 参 与 其 中 并 受到 关注 的 机 会 ， 也 大 大 丰富 了 互联 网 的 内 容 。 

Web3.0 以 社交 网 络 系统 (Society Network System，SNS) 为 代表 ， 更 强调 网 民 之 间 的 
沟通 与 协作 ， 同 时 ，Web3.0 中 的 应 用 提供 商 通过 构建 能 力 开放 和 平台， 使 得 网 民 都 可 以 参加 
到 Web 应 用 创新 之 中 ， 网 民 既 可 以 是 Web 应 用 的 需求 提出 方 ， 同 时 也 可 以 是 Web 应 用 的 
软件 开发 方 ， 人 人 都 可 能 通过 努力 具备 一 定 的 影响 力 而 成 为 “明星 ”% 也 可 以 成 为 自己 喜爱 
的 明星 的 “粉丝 ”。Web3.0 时 代 的 典型 应 用 包括 微 博 、 微 信 等 。 


1. SNS 业务 应 用 介绍 


SNS 体现 了 Web 对 于 人 类 社会 需求 的 满足 ， 人 们 通过 Web 应 用 满足 不 同 的 心理 需求 。 
SNS 不 同 于 支持 组 织 活动 和 业务 流程 的 传统 应 用 ， 其 主要 实现 了 人 与 人 以 及 由 人 创建 的 内 
容 之 间 的 协同 和 共享 。 

SNS 体现 了 人 类 的 社会 性 ， 一 个 人 从 出 生 到 成 长 会 形成 各 种 各 样 的 社会 关系 ， 比 如 家 
庭 关 系 、 同 学 关系 、 同 事 关 系 、 战 友 关系 、 老 乡 关系 、 朋 友 关 系 等 。 

家 庭 关 系 网 络 : 家 庭 是 一 个 人 出 生 和 成 长 的 起 点 ， 会 因 各 种 血缘 关系 伴随 人 的 一 生 ， 
包括 父母 、 兄 弟 、 姐 妹 、 七 大 姑 八 大 姨 等 。 

同学 关系 网 络 : 同学 关系 是 在 一 个 人 接受 思想 道德 教育 和 智力 教育 的 过 程 中 形成 的 ， 
在 接受 教育 过 程 的 不 同 阶段 会 形成 小 学 同学 、 中 学 同学 、 大 学 同学 等 关系 。 

老乡 关系 网 络 : 老乡 关系 则 是 由 于 社会 生活 的 流动 性 引起 的 ， 一 个 人 可 能 会 因为 工作 
和 生活 需要 而 离开 自己 的 家 乡 ， 在 家 乡 之 外 如 果 能 够 遇 到 与 自己 具有 类 似 口语 、 类 似 风俗 
习惯 的 人 会 倍 感 温暖 亲切 。 

同事 关系 网 络 : 同事 关系 是 在 个 人 工作 过 程 中 建立 的 ， 同 事 之 间 通 常 在 所 处 行业 和 工 
作 内 容 方 面具 有 很 大 的 相似 性 ， 因 此 成 为 猎头 公司 发 现 人 才 的 好 途径 。 

朋友 关系 网 络 : 朋友 关系 建立 在 共同 的 兴趣 爱好 之 上 ， 所 谓 “ 物 以 类 聚 ， 人 以 群 分 ”， 
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朋友 关系 更 多 的 是 具有 接近 的 脾 性 ， 因 此 可 以 作为 发 现 用 户 偏好 的 一 种 方式 。 微 信 的 朋友 
圈 就 是 基于 朋友 关系 网 络 的 一 个 典型 移动 互联 网 应 用 。 

SNS 在 满足 社会 沟通 和 协同 方面 分 为 多 种 类 型 ， 包 括 商 务 类 、 娱 乐 类 、 婚 介 类 、 娱 乐 
类 、 综 合 类 等 。 国 外 著名 的 SNS 包括 Facebook、Twitter、Linkedin、GitHub、WhatsApp 
等 ， 国 内 著名 的 SNS 包括 微 信 、 微 博 、 人 人 网 ( 原 校内 网 )、 朋 友 网 、 开 心 网 、 百 合 网 、 
珍爱 网 等 。 

微 博 模 式 为 “明星 -粉丝 ”模式 ， 微 博 用 户 不 一 定 是 一 个 真实 存在 的 人 ， 它 可 以 是 一 个 
公司 、 想 象 中 的 人 甚至 是 已 经 不 在 世 的 人 ， 当 明星 发 表 言论 后 ， 粉 丝 通常 会 跟随 ， 发 表 评 
论 。 微 博 是 现代 社会 节奏 加 快 ， 需 要 快速 简短 地 表达 自己 的 想法 的 一 种 体现 ， 每 条 微 博 的 
总 字数 通常 不 超过 140 个 字 ， 这 有 些 类 似 于 《读者 》 杂 志 ， 不 同 于 中 长 篇 小 说 和 著作 ， 每 
篇 文章 只 是 阐明 生活 的 某 一 方面 的 观点 ， 篇 幅 都 在 几 千 字 之 内 ， 读 者 可 以 像 吃 一 顿 快餐 一 
样 快速 地 完成 阅读 。 

Linkedin 是 面向 商务 人 士 的 职业 社交 网 站 ，Linkedin 基于 个 人 所 在 工作 单位 的 名 称 、 
职务 、 专 业 方向 、 地 理 位 置 等 建立 人 与 人 之 间 的 关联 关系 。 

GitHub 则 面向 程序 开发 者 ， 开 发 者 可 以 借助 GitHub 来 分 享 源 代 码 。 

在 我 国 ， 工 作 与 生活 通常 是 不 分 的 ， 因 此 微 博 、 微 信 等 社交 网 络 应 用 通常 是 同时 面向 
工作 关系 和 生活 关系 的 ， 在 美国 则 不 同 ，Linkedin 专注 于 商务 关系 ，Twitter 则 专注 于 生活 
关系 。 


2. 大 数据 技术 与 SNS 应 用 


不 同 的 社交 网 络 应 用 的 特点 是 不 同 的 ， 微 博 类 应 用 主要 反映 热点 话题 ， 因 此 要 求 大 数 
据 技 术 能 够 实现 热 词 的 提取 和 统计 ， 利 用 自然 语言 处 理 技术 来 分 析 评 论 内 容 ， 面向 商务 人 
士 的 社交 网 络 应 用 则 需要 按照 工作 职位 、 单 位 名 称 、 专 业 方向 、 兴 趣 爱 好 等 将 人 与 人 关联 
起 来 。 

除了 人 们 在 SNS 上 形成 的 社会 关系 以 及 留 下 的 沟通 、 评 论 等 记录 , 用 户 的 通信 行为 也 
是 反映 用 户 社 会 关系 的 重要 数据 基础 。 可 以 以 用 户 打 电 话 、 发 短信 这 样 的 通信 行为 为 基础 ， 
形成 用 户 之 间 的 通信 行为 网 络 ， 通 信行 为 网 络 中 的 每 个 “点 ”就 是 具备 外 呼 行为 的 通信 用 
户 ， 两 个 用 户 之 间 形 成 的 边 就 是 用 户 之 间 的 通信 行为 ,“ 边 ”上 包括 两 个 用 户 的 通信 时 间 、 
通信 地 点 、 通 信 时 长 等 ， 如 果 对 于 通信 次 数 进行 统计 ， 那 么 通信 次 数 多 的 两 个 用 户 的 社会 
关系 是 紧密 的 ， 通 过 统计 可 以 发 现 用户 之 间 社 会 关系 的 强 弱 。 
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6.3.2 ”应 用 场景 2: 大 数据 在 电子 商务 领域 的 应 用 


电子 商务 是 商务 活动 的 电子 化 ， 由 信息 流 、 资 金 流 和 物流 三 大 要 素 构成 ， 主 要 包括 商 
家 对 客户 (Business to Customer，B2C)、 商 家 对 商家 (Business to Business，B2B) 两 种 
模式 。 

大 数据 对 电子 商务 的 主要 作用 是 发 现 用 户 行为 ， 然 后 有 针对 性 地 为 客户 提供 产品 和 服 
务 。 从 客户 角度 看 ， 客 户 需要 经 过 商品 发 现 、 商 品 购买 、 服 务 获取 三 大 阶段 。 

在 客户 的 商品 发 现 阶 段 ， 客 户 通过 搜索 、 浏 览 方式 来 发 现 商品 和 对 比 商品 ， 企 业 可 以 
利用 大 数据 技术 提供 热 搜 商品 排行 榜 ， 对 客户 浏览 的 网 页 和 时 长 进行 统计 ， 发 现 客户 感 兴 
趣 的 商品 。 企业 可 以 结合 用 户 特征 , 从 购买 类 似 商 品 的 视角 为 客户 提供 商品 推荐 , 比如 “ 购 
买 了 该 商品 的 用 户 还 购买 了 XX 商品 ”。 

在 客户 的 服务 获取 阶段 ， 企 业 可 以 基于 客户 咨询 、 投 诉 、 建 议 、 评 价 等 记录 分 析 客 户 
对 于 哪些 商品 感 兴趣 ， 对 于 某 些 商品 的 看 法 ， 辅 助 调整 商品 采购 列表 ， 为 供应 商 提供 商品 
改进 建议 ， 提 高 服务 质量 等 。 可 以 借助 大 数据 技术 ， 将 客户 经 常 提出 的 问题 进行 整理 并 形 
成 知识 库 ， 提 高 客户 服务 的 效率 。 


6.4 大 数据 与 隐私 保护 


信息 共享 和 数据 开放 既是 把 双 刃 剑 ， 能 否 为 造福 人 类 关键 要 看 我 们 的 态度 和 行动 ， 只 有 构建 科 
学 的 组 织 、 制 度 和 流程 ， 才 能 趋 利 避 害 ， 实 现 共 赢 。 


6.4.1 科技 进步 的 代价 


随 着 科学 技术 在 信息 、 通 信 、 生 物 等 领域 的 飞速 发 展 ， 人 们 的 工作 与 生活 进入 了 快速 、 
全 面 的 “记忆 ”时 代 。 

从 记忆 的 方式 看 ,“ 电 脑 ” 时 代 之 前 ， 信 息 通 常 由 大 脑 或 者 纸张 “记忆 ”下 来 ， 信 息 交 
换 的 方式 通常 是 言语 沟通 或 者 印刷 品 传播 ， 这 个 阶段 信息 传播 的 特点 是 传播 范围 小 ， 传 播 
速度 慢 。 在 当下 的 互联 网 时 代 ， 承 载 信息 的 方式 是 互联 网 ， 信 息 可 以 瞬间 全 球 传播 与 共享 。 
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先进 工具 的 使 用 ， 就 好 比 在 沙滩 上 行走 一 样 ， 会 留 下 印记 ， 而 且 这 种 印记 让 人 难以 察 
。 例 如 : 

。 交通 管理 部 门 记录 了 人 们 的 出 发 地 、 目 的 地 等 信息 ; 

。 酒店 机 构 记 录 了 人 们 的 住宿 地 点 、 房 间 号 、 陪 同人 员 等 信息 ; 

。 旅游 公司 记录 了 人 们 的 旅行 路 线 、 地 点 等 信息 ; 

。 金融 机 构 记 录 了 人 们 的 存款 人 额度、 理财 产品 、 参 保 类 型 等 信息 ; 

。 医疗 保健 机 构 记 录 了 人 们 的 身高 、 体 重 、 血 压 、 所 患 疾病 等 信息 ; 

。 互联 网 公司 记录 了 人 们 的 网 页 浏览 、 关 键 字 搜 索 、 社 交 网 络 、 网 络 购物 等 信息 ; 

。 公共 管理 部 门 记录 了 人 们 的 水 电 煤 等 的 使 用 时 间 、 使 用 量 等 信息 ， 等 等 。 

不 同 企业 的 “猜测 ”能 力 是 不 一 样 的 。 亚马逊 (Amazon ) 监控 购买 偏好 , 谷歌 (Google) 
知道 浏览 习惯 ， 推 特 〈Twitter) 知道 人 们 所 想 ， 脸 书 (Facebook) 不 但 知道 人 们 所 想 ， 而 
且 知 道人 们 的 社交 关系 ， 移 动 运营 商 知 道人 们 和 谁 交谈 并 且 谁 在 附近 。 商 家 通过 信息 采集 
与 数据 分 析 ， 确 定 营销 与 服务 的 时 机 、 对 象 、 内 容 等 前 提 条 件 。 商 家 对 用 户 了 解 得 越 多 ， 
越 能 够 影响 决策 : 

。 通过 分 析 搜 索 关 键 字 ， 知 道 用 户 关注 什么 内 容 、 大 家 都 关注 什么 内 容 ; 

。 通过 分 析 网 页 浏览 次 数 、 停 留 时 间 ， 知 道 用 户 关注 什么 商品 ， 大 家 关注 什么 商品 ; 

。 通过 分 析 人 们 在 因特网 上 搜索 、 浏 览 、 咨 询 、 下 单 、 退 货 等 行为 ， 可 以 快速 获取 到 

电话 号 码 、 邮 箱 、 所 在 位 置 、 偏 好 等 个 人 信息 。 

新 的 技术 手段 可 以 用 于 确定 商业 规则 ， 但 也 可 能 会 留 下 侵犯 隐私 的 隐患 。 例 如 ， 保 险 公 
司 车 险 费 率 采 用 汽车 上 安装 定位 装置 的 技术 手段 ， 根 据 驾 驶 员 的 驾驶 情况 确定 车 险 费 率 ， 如 
果 驾 驶 情况 良好 则 费 率 低 , 否则 费 率 就 高 , 但 是 这 种 行为 有 可 能 会 侵犯 驾驶 人 员 的 个 人 隐私 。 
地 理 位 置信 息 可 以 用 于 确定 物体 的 位 置 ， 也 可 能 会 触犯 正在 屋顶 晒 太阳 的 人 的 个 人 隐私 。 

在 个 人 生活 方面 ， 当 人 们 在 看 病 或 者 体检 时 ， 身 高 、 体 重 、 病 史 、DNA 等 身体 生理 特 
征 信息 立马 被 医疗 机 构 获 取 。 人 们 的 生理 特征 和 行为 特征 也 能 够 被 记录 下 来 ， 比 如 手印 、 
DNA、 和 气味 、 视 网 膜 、 声 音 、 手 势 、 打 字 节 奏 等 ， 这 些 信息 可 以 用 于 确认 身份 的 真实 性 。 

随 着 移动 智能 终端 和 移动 互联 网 应 用 的 飞速 发 展 ， 智 能 手机 作为 人 们 的 贴身 小 秘书 ， 
已 经 从 单一 通话 功能 延伸 到 照相 、 录 音 、 办 公 、 导 航 、 上 网 等 多 种 功能 ， 当 在 智能 手机 上 
安装 软件 时 ， 软 件 提供 商 首先 会 提示 用 户 接受 一 系列 控制 权限 ， 比 如 电话 本 、 通 话 记录 、 
短信 记录 、 照 相 、 录 音 、 个 人 信息 、 应 用 信息 、 位 置信 息 等 。 

此 外 ， 为 了 提升 数据 质量 ， 可 以 通过 很 多 途径 反 算出 个 人 信息 ， 比 如 Web 搜索 、 电 影 
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评论 、 上 网 记录 、 通 话 记 录 等 。 比 如 ， 人 们 在 某 个 移动 通信 基站 下 打 电 话 ， 可 以 根据 通话 
记录 中 的 基站 编号 、 基 站 经 纬度 、 基 站 覆盖 半径 等 ， 反 算出 通话 的 人 当时 所 在 的 位 置 。 

与 科学 技术 落后 的 年 代 相 比 ， 人 们 的 社会 生活 变 得 更 加 便捷 、 高 效 。 但 是 ， 任 何事 物 
都 具有 两 面 性 ， 种 种 便利 背后 的 代价 ， 就 是 人 们 的 隐私 可 能 受到 侵犯 ， 人们 的 安全 可 能 受 
到 威胁 。 社 会 对 你 的 “记忆 ” 越 多 ， 个 人 的 隐私 和 安全 受到 威胁 的 可 能 性 就 越 大 。 大 数据 
是 个 双 刃 剑 ， 就 像 菜 刀 一 样 ， 关 键 看 在 什么 样 的 手 里 ， 是 用 于 做 菜 还 是 用 于 伤害 。 

棱镜 计划 〈PRISM)， 俗 称 “ 棱 镜 门 ”， 是 一 项 由 美国 国家 安全 局 (NSA) 实施 的 绝密 
监听 计划 ， 自 2007 年 小 布什 时 期 起 开始 实施 ， 包 括 微软 、 雅 虎 、 谷 歌 、 苹 果 等 在 内 的 9 
家 国际 网 络 巨头 都 参与 其 中 。NSA 可 以 直接 进入 美国 网 际 网 络 公司 的 中 心服 务 器 ， 实 施 情 
报 收集 和 数据 挖掘。 

“棱镜 门 ”成 为 震惊 国家 安全 领域 的 大 事件 ， 也 说 明了 信息 安全 不 仅仅 是 个 人 的 事情 ， 
它 将 安全 问题 提升 到 国家 层面 。 


6.4.2 ”人们 应 该 做 些 什么 


现实 不 能 改变 ， 能 够 改变 的 只 能 是 自己 的 态度 和 行动 。 是 否 能 够 创建 一 个 良好 的 隐私 
保护 和 安全 管理 环境 ， 还 有 赖 于 个 人 、 企 业 和 政府 的 共同 努力 。 

对 于 个 人 ， 人 们 应 当 了 解 信息 公开 对 于 个 人 可 能 造成 的 伤害 。 比 如 ， 对 于 未 知 来 源 的 
网 页 或 者 邮件 ， 不 要 轻易 打开 ， 以 免 电脑 中 潜入 木马 程序 ， 可 以 安装 安全 管理 软件 ， 实 时 
监控 入 侵 行为 并 进行 及 时 清理 。 
对 于 提供 软件 服务 的 商家 ， 需 要 在 用 户 安装 软件 时 ， 提 示 获 取 用 户 哪些 信息 ， 让 用 户 
可 以 自行 选择 是 否 安装 ， 通 过 协议 承诺 和 行动 打消 用 户 心中 的 顾虑 ， 要 在 企业 内 部 建立 隐 
私 保护 制度 和 流程 ， 防 止 内 部 员工 盗 取 涉及 个 人 隐私 和 安全 的 信息 。 

技术 的 进步 总 是 超前 于 法 律 制定 ， 对 于 政府 管理 部 门 ， 应 当 制 定 并 细 化 保护 隐私 和 信 
息 安 全 的 法 律 法 规 ， 对 于 触犯 法 律 的 行为 要 给 予 严 万 的 惩罚 。 


6.4.3 ”寻求 法 律 保护 


美国 是 隐私 保护 法 制定 的 先行 者 。 美 国政 府 将 海量 的 数据 定性 为 有 价值 的 国家 资本 ， 
认为 应 对 公众 开放 数据 而 不 是 禁 钢 在 政府 的 体制 内 。 联 邦 政府 开放 信息 后 ， 普 通 的 公民 都 
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可 以 享用 政府 提供 的 信息 。 
《信息 自由 法 》 的 草案 由 摩 斯 先生 在 1955 年 提出 ， 经 过 十 几 年 的 曲折 历程 ， 在 1967 
年 开始 生效 ， 直 至 1974 年 的 《信息 自由 法 修正 案 》 才 正式 成 为 法 律 。 
同样 是 1974 年 ， 美国 国会 通过 了 《隐私 法 》。《 隐 私法 》 保 护 的 主体 是 存储 在 政府 机 
关内 部 的 “个 人 信息 记录 ” 如 个 人 的 教育 经 历 、 工 作 履 历 、 经 济 活动 、 犯 罪 历史 等 。 
关于 美国 法 律 在 信息 自由 、 数 据 开放 以 及 隐私 保护 方面 的 发 展 历程 , 《大 数据 》 作 者 
涂 子 沛 先生 有 很 多 描述 。 
我 国 宪法 中 也 明确 了 对 于 隐私 的 保护 。 
宪法 第 三 十 八条 规定 :“ 中 华人 民 共和 国 公民 的 人 格 尊严 不 受 侵犯 ”人格 尊 严 是 人 格 
权 的 重要 内 容 ， 是 人 格 利益 的 集中 体现 。 宪 法 对 人 格 尊严 的 规定 ， 为 我 国 日 后 完善 隐私 权 
制度 提供 了 宪法 依据 。 
宪法 第 三 十 九条 规定 : 中 华人 民 共 和 国 公民 的 住宅 不 受 侵犯 。 禁 止 非法 搜查 或 者 非法 
侵入 公民 的 住宅 ”这 是 宪法 对 公民 私生活 免 受 干扰 的 规定 。 
宪法 第 四 十 条 规定 : 中 华人 民 共 和 国 公民 的 通信 自由 和 通信 秘密 受 法 律 保护 ， 除 因 国 
家 安全 或 者 追究 刑事 犯罪 的 需要 ， 由 公安 机 关 或 检察 机 关 依 照 法 律 规 定 的 程序 对 通信 进行 
检查 外 ， 任 何 组 织 或 者 个 人 不 得 以 任何 理由 侵犯 公民 的 通信 自由 和 通信 秘密 。 
自由 和 责任 是 一 对 挛 生 兄弟 ， 信 息 共享 和 数据 开放 既是 人 类 的 福音 ， 同 时 也 可 能 对 人 
类 造成 伤害 , 这 是 大 千 世 界 的 不 二 法 则 ,问题 的 关键 在 于 人 们 管理 数据 的 努力 。 魔 高 一 尺 ， 
道 高 一 丈 ， 相 信人 类 在 不 断 的 矛盾 斗争 中 ， 必 将 能 够 趋 利 避 害 ， 战 胜 因 信 息 与 数据 开放 带 
来 的 种 种 困扰 。 


6.5 大 数据 相关 热点 话题 


云 计 算 为 大 数据 提供 弹性 的 基础 设施 ， 移 动 互联 网 、 物 联网 、 电 子 商 务 既 是 大 数据 的 提供 者 ， 
又 是 大 数据 服务 的 消费 者 。 


6.5.1 概述 


云 计算 、 移 动 互联 网 、 物 联网 、 电 子 商务 等 是 与 大 数据 并 驾 齐 驱 的 社会 热点 ， 这 些 社 
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背景 、 内 涵 以 及 其 与 大 数据 的 关系 。 
6.5.2 云 计算 


1. 云 计算 的 产生 和 发 展 


水 能 、 风 能 、 蒸 汽 能 、 煤 能 等 都 可 以 转化 为 机 械 能 、 电 能 ， 帮 助人 类 提高 生产 和 生活 
的 效率 ,改善 人 类 的 生活 质量 。 尤 其 是 电 ， 可 以 做 的 事情 更 多 ， 人 们 日 常生 活 中 用 的 电车 、 
电 冰 箱 、 电 视 、 电 灯 、 电 话 、 电 脑 、 洗 衣 机 等 ， 都 缺 不 了 电 。 正 如 人 类 生存 离 不 开水 和 阳 
光一 样 ， 如 果 没 有 了 电 ， 社 会 生活 的 秩序 将 会 遭 到 严重 破坏 。 

电 的 发 展 经 历 了 一 个 从 分 散 到 集中 的 过 程 。 早 期 由 于 技术 的 限制 ， 人 们 只 能 采用 小 的 
电厂 发 电 。 然 而,， 这 种 方式 不 如 集中 建设 电厂 、 集 中 供电 更 能 节约 成 本 ,提高 电 的 利用 率 ， 
因此 供电 系统 转变 为 集中 建设 、 集 中 维护 、 统 筹 供电 的 运作 模式 。 

从 电力 的 发 展 模式 可 以 得 出 一 个 结论 : 随 着 技术 的 进步 ， 必 然 会 用 集中 化 建设 和 运营 
的 模式 代替 传统 资源 分 散 的 落后 模式 ， 发 挥 规模 经 济 的 优势 ， 这 是 事物 发 展 的 必然 。 

信息 技术 的 发 展 历程 与 电力 的 发 展 历程 类 似 ， 通 过 软件 将 分 散 的 资源 集中 起 来 ， 实 现 
资源 的 统一 调配 ， 以 最 佳 成 本 效益 的 方式 提供 IT 服务 。 

简单 回顾 一 下 IT 发 展 的 历程 : 大 约 在 1995 年 之 前 , 软件 基本 上 停留 在 小 范围 内 使 用 ， 
软件 功能 也 比较 简单 ， 这 个 时 候 大 多 数 企业 和 个 人 采用 购买 软件 产品 的 方式 来 满足 自身 的 
业务 需求 ， 大 约 在 1996 以 后 的 10 年 间 ， 这 种 方式 仍旧 在 继续 ， 但 是 软件 开始 以 服务 形式 
对 外 销售 。 软 件 以 服务 形式 销售 的 模式 ， 称 为 软件 即 服 务 (SaaS)， 国 外 以 Salesforce 公司 
最 为 典型 ， 国 内 以 金蝶 公司 最 为 典型 。 

其 实 ， 像 谷歌 、 百 度 等 互联 网 服务 提供 商 一 直 以 来 就 是 提供 软件 服务 的 ， 只 不 过 在 云 
计算 兴起 之 前 没有 SaaS 的 叫 法 。Salesforce、 人 金蝶 等 主要 是 将 传统 的 套装 软件 以 服务 的 形 
式 放 到 互联 网 上 销售 。 

除了 在 软件 层面 的 IT 服务 ， 在 计算 、 存 储 、 网 络 层面 也 开始 以 IT 服务 的 形式 对 外 销 
售 。 在 计算 服务 方面 ， 曾 经 出 现 了 分 布 式 计算 、 并 行 计算 、 网 格 计 算 等 研究 和 应 用 方向 ， 
在 存储 服务 方面 ， 也 出 现 了 存储 虚拟 化 等 研究 和 应 用 方向 。 

从 服务 范围 角度 看 ， 云 计算 分 为 公有 云 和 私有 云 。 公 有 云 是 面向 社会 大 众 提供 云 服务 
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的 ， 主 要 面向 中 小 型 企业 和 个 人 。 私 有 云 是 面向 单个 组 织 内 部 提供 云 服务 的 ， 包 括 政府 机 
关 、 事 业 单位 以 及 大 中 型 企业 内 部 搭建 的 云 平 台 。 

从 系统 架构 的 角度 ， 云 计算 分 为 软件 层 云 服务 〈 即 SaaS)、 平 台 层 云 服务 〈 即 PaaS) 
和 基础 设施 层 云 服务 〈 即 IaaS )。 

从 IT 职能 分 工 的 角度 ， 云 计算 分 为 计算 云 服务 、 存 储 云 服 务 〈 也 称 为 云 存储 )、 网 络 
云 服务 (Network as a Service，NaaS)、 桌 面 云 服 务 (Desktop as a Service，DaaS ) 等 ， 分 
别提 供 计算 、 存 储 、 传 输 等 方面 的 云 服 务 。 

云 计算 还 有 很 多 其 他 划分 方法 ， 此 处 不 再 一 一 说 明 。 

云 计 算 的 优势 主要 包括 资源 按 需 分 配 、 后 台 能 力 扩展 性 好 、 高 性 能 以 及 成 本 节约 几 个 
方面 。 

。 资源 按 需 分 配 : 使 用 云 服务 的 用 户 无 须 关 心 后 台 资 源 如 何 分 配 和 调度 ， 只 需 提 出 能 

力 需求 即 可 ， 对 用 户 来 说 后 台 完 全 是 一 个 黑 盒子 ; 

。 后 台 能 力 扩 展 性 好 : 当 发 现 IT 能 力 不 足 时 ， 提 供 云 服务 的 后 台 可 以 动态 增加 资源 ， 

满足 IT 能 力 需 求 ; 

。 高 性 能 : 采用 云 计算 后 ， 由 于 实现 了 分 散 资源 的 共享 , IT 能 力 不 再 由 单一 的 节点 来 

支撑 ， 因 此 可 以 提供 更 好 的 系统 性 能 ; 

。 成 本 节约 : 云 计算 技术 可 以 将 组 织 内 部 现 有 设备 充分 利用 起 来 , 并 实现 资源 的 共享 ， 

通过 软件 算法 保证 系统 的 可 靠 性 、 可 用 性 、 可 伸缩 性 、 高 性 能 以 及 安全 性 ， 从 而 降 
低 了 组 织 的 采购 成 本 。 


2. 云 计 算 与 大 数据 


云 计算 和 大 数据 就 像 是 汽车 发 动机 和 汽油 的 关系 ， 大 数据 提供 动力 所 需 的 能 量 基 础 ， 
而 云 计 算 则 基于 将 “能 量 ”转换 为 “动力 ”， 使 得 汽车 能 够 动 起 来 。 如 果 没 有 云 计算 ， 则 大 
数据 这 个 能 源 宝藏 就 得 不 到 有 效 开 发 和 利用 ， 如 果 没 有 大 数据 ， 那 么 云 计 算 则 英雄 无 用 武 
之 地 。 大 数据 的 首要 特征 就 是 数据 规模 大 ， 这 更 加 凸显 了 云 计算 的 价值 和 作用 。 

云 计算 技术 将 数据 随机 存放 到 分 布 式 的 存储 系统 节点 中 ， 而 不 是 以 传统 方式 存放 到 预 
先 设 定 的 节点 上 ， 因 此 云 服务 的 用 户 并 不 清楚 云 服务 提供 节点 的 位 置 ， 这 种 不 透明 性 增加 
了 隐私 保护 和 提升 数据 安全 管理 能 力 的 难度 。 

阿 帕 奇 开源 项 目 Hadoop 中 ，HDFS 属于 大 数据 的 承载 体 ， 而 MapReduce 则 是 云 计 算 
的 化 身 ，HDFS 将 大 文件 “微分 ”后 存 入 集群 中 ， 当 需要 统计 时 ， 通 过 MapReduce 实现 对 
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“微分 ”数据 的 “积分 ”经 过 抽取 、 排 序 和 聚合 的 过 程 ， 输 出 计算 结果 。 
6.5.3 ”移动 互联 网 


近年 来 ， 移 动 终端 和 无 线 通信 网 络 技术 的 快速 发 展 使 得 人 类 社会 进入 了 移动 互联 网 时 
代 。 与 个 人 电脑 相 比 ， 移 动 终端 具有 随身 性 ， 无 线 宽带 化 使 得 人 们 可 以 借助 移动 终端 实现 
桌面 终端 完成 的 一 切 事情 ， 并 且 应 用 访问 不 受 时 空 限制 ， 这 大 大 地 方便 了 人 们 的 工作 和 生 
活 ， 成 为 移动 互联 网 快速 发 展 的 前 提 。 

移动 互联 网 除了 为 用 户 带 来 使 用 上 的 便捷 性 之 外 , 以 Apple Store 为 代表 的 应 用 商店 模 
式 催生 了 更 加 丰富 的 应 用 ， 促 进 了 信息 通信 产业 的 进一步 发 展 ， 形 成 了 更 加 专业 化 的 社会 
分 工 ， 人 类 社会 进入 价值 网 络 时 代 。 

移动 互联 网 加 速 了 数据 产生 的 速度 。 人 们 可 以 通过 手机 随时 随地 分 享 照片 、 上 网 聊天 、 
发 表 看 法 , 记录 生活 中 的 点 点 滴 滴 , 人 人 都 是 自己 生活 的 “记者 ”同时 人 人 又 是 内 容 的 “ 消 
费 者 ”。 

移动 互联 网 能 够 更 加 准确 地 掌握 用 户 行为 。 与 桌面 互联 网 不 同 ， 用 户 的 位 置信 息 和 行 
为 信息 ， 会 实时 地 记录 下 来 。 因 此 ， 移 动 互联 网 能 够 知道 用 户 在 哪里 、 正 在 做 什么 以 及 下 
一 步 可 能 做 什么 。 
移动 互联 网 使 得 企业 更 能 把 握 商 机 。 商 家 可 以 借助 移动 互联 网 对 于 用 户 位 置 和 行为 的 
掌握 ， 有 的 放 矢 地 提供 产品 和 服务 ， 提 升 销售 能 力 和 服务 能 力 。 移 动 互联 网 也 使 得 人 们 可 
以 随时 随地 处 理 邮 件 、 开 多 媒体 会 议 等 。 

移动 互联 网 使 得 政府 行政 部 门 更 能 够 把 握 群 体 行为 。 政 府 部 门 也 能 够 更 加 准确 及 时 地 
预测 群体 行为 ， 提 前 做 好 预案 ， 增 强 公 共管 理 能 力 。 比 如 ， 交 通 部 门 可 以 节假日 交通 工具 
需求 预测 ， 提 前 准备 交通 工具 。 

移动 互联 网 使 得 国家 公共 安全 部 门 的 破案 能 力 更 强 。 公 共 安 全 管理 部 门 也 可 以 通过 分 
析 用 户 特征 和 行为 ， 发 现 犯罪 分 子 的 犯罪 特征 ， 预 测 犯罪 行为 并 提前 采取 行动 。 

大 数据 是 移动 互联 网 发 挥 能 力 的 基础 。 移 动用 户 使 用 移动 互联 网 应 用 时 形成 的 大 数据 
是 移动 互联 网 在 商业 、 公 共事 业 管理 、 公 共 安 全 管理 等 领域 创造 价值 的 前 提 和 基础 ， 移 动 
互联 网 的 发 展 离 不 开 大 数据 技术 的 发 展 。 

基于 实时 位 置 的 移动 互联 网 应 用 对 大 数据 技术 提出 了 新 要 求 。 阿 帕 奇 项 目 〈Apache) 
的 Storm 和 Spark 开源 框架 主要 解决 大 数据 实时 流 式 计算 问题 .Stomm 可 以 实时 统计 移动 互 
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联网 产生 的 数据 ， 比 如 热 词 统计 、 用 户 画 像 更 新 等 。 
6.5.4 ” 物 联 网 


顾名思义 ， 物 联网 (Intemet of Things) 是 实现 物理 对 象 互联 互通 的 网 络 。《 大 话 物 联 
网 》 作 者 郎 为 民 老师 认为 :“ 如 果 说 因特网 让 全 世界 变 成 了 一 个 村 , 那么 物 联网 就 让 这 个 村 
变 成 了 一 个 人 ; 如 果 因 特 网 连接 的 是 虚拟 信息 空间 , 那么 物 联网 连接 的 就 是 现实 物理 世界 ; 
如 果 说 因特网 是 人 的 大 脑 ， 那 物 联网 就 是 人 的 四 肢 ”。 

通过 物 联网 与 因特网 的 对 比 ， 可 以 清晰 地 看 到 物 联网 的 重点 是 “ 物 ”之 间 的 连接 ， 而 
因特网 的 重点 是 “信息 ”之 间 的 连接 。“ 物 ”是 人 的 肉体 之 外 的 东西 (Things)， 而 “信息 ” 
则 是 对 客观 世界 中 各 种 事物 的 运动 状态 和 变化 的 反映 。 

技术 是 物 与 物 连 接 的 基础 。 物 联网 相关 的 技术 包括 射频 识别 技术 “RFID)、 传 感 器 
(Sensor) 技术 、 纳 米 技术 、 智 能 嵌入 式 技术 等 。 

物 联 网 技术 已 经 广泛 应 用 于 交通 、 物 流 、 建 筑 等 各 行 各 业 。 在 交通 行业 , 利用 RFID/NFC 
技术 实现 快捷 支付 ， 在 仓储 物流 行业 ， 利 用 RFID 技术 可 以 快速 实现 商品 的 入 库 、 出 库 等 
操作 ， 在 商品 零售 行业 ， 利 用 RFID 技术 可 以 快速 实现 商品 的 盘点 、 收 银 等 操作 ， 在 建筑 
行业 ， 利 用 Wi-Fi、 蓝 牙 〈Bluetooth) 等 无 线 通信 技术 对 家 用 电器 进行 远程 控制 ， 实 现 智 
能 化 家 居 生 活 等 。 

物 联 网 技术 还 可 以 完成 自然 环境 的 监测 。 各 种 传感器 网 络 相当 于 人 的 四 肢 ， 可 以 从 自 
然 环境 中 采集 温度 、 湿 度 、 风 力 、 气 压 等 数据 。 利 用 传感器 采集 的 数据 ， 可 以 辅助 完成 农 
业 种 植 、 工 业 控制 、 气 象 预报 等 工作 。 比 如 ， 在 农业 种 植 方面 ， 可 以 根据 传感器 监测 的 湿 
度数 据 确定 灌溉 用 水 的 量 ; 在 工业 控制 方面 ， 可 以 根据 传感器 收集 的 工业 设备 温度 数据 调 
整 车 间 空 调 温度 ， 在 气象 预报 工作 中 ， 更 需要 利用 传感器 采集 的 风力 、 风 向 、 温 度 、 湿 度 
等 数据 进行 天 气 预测 。 

在 人 们 的 日 常生 活 中 ， 智 能 手机 中 就 有 很 多 传感器 ， 比 如 三 轴 陀 螺 仪 、 加 速 感应 器 、 
距离 感应 器 、 环 境 光 感应 器 等 。 借 助 这 些 传感器 ， 可 以 开发 出 非常 丰富 的 移动 应 用 ， 比 如 
健康 运动 监测 、 重 力 感应 游戏 等 。 

物质 世界 是 人 类 社会 生存 和 发 展 的 基础 ， 而 各 种 物 联网 技术 则 将 人 与 物质 世界 连接 起 
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来 ， 使 得 人 类 能 够 更 加 客观 地 了 解 自然 环境 ， 能 够 高 效 地 获取 “ 物 ” 的 信息 ， 物 质 世 界 中 
的 万 事 万 物 ， 也 将 和 人 类 一 样 有 一 个 唯一 的 身份 证 ， 通 过 这 个 唯一 的 身份 证 ， 将 人 与 物质 
世界 融 为 一 体 。 

物 联 网 技术 的 广泛 应 用 有 力 地 推动 了 大 数据 产业 的 发 展 。 从 规模 来 讲 ， 世 界 上 “ 物 ” 
的 规模 要 比 “ 人 口 ”的 规模 大 得 多 。 自然 环 境 以 及 人 类 生产 生活 的 环境 中 有 数 不 清 的 “ 物 ”， 
何况 地 球 仅仅 是 宇宙 中 的 一 颗 小 行星 而 已 ， 因 此 ， 物 联网 中 采集 的 数据 要 比 人 类 社会 中 采 
集 的 数据 多 得 多 ， 形 成 的 数据 规模 也 要 大 得 多 。 


6.5.5 ”电子 商务 


商品 交换 促进 了 更 加 专业 化 的 社会 分 工 ， 提 高 了 社会 生产 的 总 效率 ， 大 大 促进 了 经 济 
社会 的 发 展 。 

集 市 、 商 场 、 超 市 等 是 实体 形式 的 商品 交易 场所 ， 商 品 交换 的 实现 方式 是 卖家 首先 从 
供应 商 处 采购 商品 ， 然 后 将 部 分 商品 作为 样品 摆 放 到 货架 或 者 摊位 上 ， 等 待 买 家 挑选 和 购 
买 ， 买 家 选择 并 付款 后 将 商品 带 走 。 

电子 商务 的 出 现 ， 改 变 了 传统 商品 交易 的 形式 。 在 传统 商务 模式 下 ， 对 于 实物 形式 的 
商品 ， 从 商家 生产 出 来 到 最 终 买 家 手中 ， 要 消耗 很 多 的 人 力 物力 ， 经 过 多 次 地 点 的 转移 。 
而 电子 商务 则 改变 了 商品 交易 的 过 程 ， 通 过 整合 和 共享 商品 信息 ， 让 商品 信息 变 得 公开 透 
明 ， 消 除了 供需 双方 的 信息 不 对 称 ， 使 得 交易 更 加 公平 ， 有 利于 消费 者 买 到 物美 价 廉 的 
商品 。 

概括 起 来 , 电子 商务 与 传统 商务 主要 有 以 下 几 个 不 同 , 业界 称 之 为 电子 商务 的 三 要 素 。 

第 一 要 素 是 信息 流 。 在 传统 商务 中 ,买卖 双方 的 信息 是 非常 不 对 称 的 ， 由 于 空间 限制 ， 
买 家 通常 只 能 从 有 限 的 市 场 中 获得 商品 信息 ， 包 括 商家 信誉 、 商 品质 量 、 商 品 价格 高 低 、 
商品 口碑 等 。 电 子 商 务 借 助 电子 商务 平台 将 所 有 商品 信息 公开 在 互联 网 上 , 对 于 买 家 而 言 ， 
所 有 商品 的 信息 都 是 透明 的 ， 没 有 什么 不 对 称 。 这 样 ， 买 家 就 可 以 在 全 范围 内 对 比 商品 和 
挑选 商品 了 。 

第 二 要 素 是 物流 。 一 件 实物 商品 在 传统 商务 中 要 完成 一 次 完整 交易 ,需要 在 生产 厂家 、 
批发 商 、 零 售 商 等 多 个 环节 的 不 同 地 点 之 间 挪 动 ， 这 些 操 作 不 仅 不 增值 ， 而 且 还 会 延长 商 
品 交付 时 间 。 本 质 上 ， 卖 家 仅仅 是 通过 让 渡 商 品 的 使 用 价值 获得 商品 的 价值 ， 至 于 商品 在 
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多 个 环节 的 挪动 是 由 于 供给 方 和 需求 方 不 能 直接 匹配 引起 的 。 在 电子 商务 的 第 一 要 素 提 到 ， 

电子 商务 为 供求 双方 提供 了 一 个 信息 透明 的 平台 ， 那 么 买 家 完全 可 以 首先 在 电子 商务 平台 

上 确定 需求 ， 然 后 卖家 再 根据 买 家 需求 直接 将 商品 交付 到 用 户 手 中 ， 而 不 必 经 过 那些 既 增 
加 成 本 又 降低 效率 的 商品 挪动 环节 。 卖 家 到 买 家 的 实物 交付 称 为 物流 。 

第 三 要 素 是 资金 流 。 在 买 家 提交 商品 购买 需求 后 ， 能 否 快 捷 支付 成 为 限制 交易 效率 的 
关键 环节 。 如 果 存 在 退换 货 问题 ， 还 需要 退 款 或 者 调整 付款 金额 的 操作 ， 从 而 降低 商品 交 
易 的 效率 。 此 外 ， 买 家 付款 到 卖家 实际 收 款 之 间 存 在 时 间 差 ， 每 次 交易 的 金额 小 ， 但 是 交 
易 数 多 ， 因 此 ， 交 易 过 程 形成 的 现金 流 为 金融 机 构 带 来 了 大 量 的 利息 收入 。 

据 商务 部 《电子 商务 报告 》 发 布 : 2013 年 ， 我 国电 子 商 务 交 易 总 额 10.5 万 亿 元 ， 五 
年 来 翻 了 两 番 。 其 中 ， 网 络 零售 交易 额 超过 1.85 万 亿 元 ， 占 社会 消费 品 零售 总 额 的 比重 为 
7.8%。2013 年 我 国 已 经 超过 美国 ， 成 为 全 球 最 大 的 网 络 零售 市 场 ， 在 全 球 网 络 零售 市 场 份 
额 中 占 23.9%。2014 年 ， 我 国电 子 商 务 交 易 总 额 增 速 为 28.65%， 移 动 购物 市 场 交易 规模 达 
到 8956.85 亿 元 ， 年 增长 率 达 234.3%， 农 产品 电子 商务 交易 额 达 870 多 亿 元 。 

在 电子 商务 物流 方面 ，2013 年 5 月 28 日 ， 知 名 电子 商务 公司 阿里 巴巴 ， 联 合 三 通 一 
达 〈 申 通 、 圆 通 、 中 通 、 韵 达 )， 宅 急 送 、 汇 通 ， 以 及 相关 金融 机 构 等 ， 宣 布 共同 组 建 中 国 
智能 物流 骨干 网 (俗称 菜鸟 网 络 ), 成 为 基于 互联 网 思维 的 物流 模式 的 新 尝试 。 京东 商城 的 
“211 限时 达 ” 服 务 ， 即 以 每 日 2 个 11 点 钟 作为 时 间 分 割 点 进行 快速 投递 服务 ， 体 现 了 我 
国电 子 商务 物流 系统 已 经 具备 非常 高 的 交付 能 力 。 

在 电子 商务 资金 流 方面 ， 以 阿里 巴巴 的 余额 宝 最 为 典型 。 据 天 弘 基金 发 布 的 《余额 宝 
一 周年 大 数据 报告 》( 统 计 区 间 : 2013 年 5 月 到 2014 年 5 月 )， 余 额 宝 平均 每 天 发 生 358 
万 笔 交 易 ， 累 计 转 入 4.96 亿 次 ,累计 消费 和 提现 8.1 亿 。 

卖家 和 买 家 的 特征 和 行为 大 数据 会 留存 在 电子 商务 平台 中 ， 成 为 电子 商务 公司 宝贵 的 
大 数据 资产 。 

卖家 特征 和 行为 大 数据 包括 : 商家 信息 、 商 品 采购 记录 、 商 品 支 付 记录 、 商 品 销售 记 
录 、 商 品 收 款 记录 、 客 户 评价 信息 等 。 卖 家 行为 数据 可 以 作为 金融 机 构 信 用 评估 和 提供 贷 
款 的 参考 依据 。 

买 家 特征 数据 包括 年 龄 、 性 别 、 教 育 程度 、 兴 趣 爱好 、 购 买 偏好 等 ， 买 家 行为 大 数据 
包括 平台 登录 / 签 出 记录 、 网 页 浏览 记录 、 商 品 搜索 记录 、 在 线 咨询 记录 、 商 品 购买 记录 、 
商品 评价 记录 、 商 品 投诉 记录 等 。 买 家 特征 和 行为 数据 也 可 以 用 于 个 人 信用 评估 和 提供 贷 
款 的 参考 依据 。 
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6.6 “主要 内 容 回顾 


企业 发 展 历程 犹如 人 生发 展 历程 ， 在 人 生理 想 的 指引 下 ， 经 历 “ 筑 策 尖 “联姻 和 “好 
育 ““ 分 娩 ^“ 培 育 ”的 修炼 ， 终 于 可 以 大 展 宏图 ， 实 现 “腾飞 ”了 。 

大 数据 是 否 可 以 帮助 企业 “腾飞 ”的 检验 标准 是 实践 ， 比 如 在 电信 、 人 金融 、 互 联网 行 
业 的 应 用 实践 。 


1. 大 数据 在 电信 行业 的 应 用 总 结 


在 电信 行业 ， 随 着 移动 互联 网 的 飞速 发 展 ， 应 用 商店 模式 的 成 功 ， 产 生 了 大 量 的 移动 
用 户 上 网 记录 。 这 些 移动 用 户 上 网 记录 由 移动 通信 网 的 网 络 设备 记录 下 来 ， 每 天 就 有 PB 
级 的 数据 规模 。 

传统 的 关系 型 数据 库 无 法 满足 如 此 大 的 数据 规模 的 在 取 ， 不 能 解决 因 移动 用 户 上 网 资 
费 产生 的 争议 问题 。 

基于 列 的 分 布 式 存储 系统 可 以 实现 IT 基础 设施 资源 的 横向 线性 扩展 , 可 以 满足 移动 用 
户 上 网 记录 大 数据 的 存 取 要 求 。 

内 容 交付 网 络 (CDN) 通过 在 通信 网 络 边缘 设置 承载 应 用 内 容 的 CDN 节点 ， 实 现 了 
移动 用 户 对 应 用 的 就 近 访问 ， 提 高 了 移动 用 户 的 应 用 访问 速度 。 

从 成 本 效益 的 角度 出 发 ， 需 要 基于 价值 设置 CDN 节点 ， 在 保证 用 户 价值 的 前 提 下 ， 
为 应 用 提供 商 节约 成 本 。 同 样 ， 如 果 电信 运营 商 能 够 从 价值 角度 为 应 用 提供 商 的 CDN 节 
点 设置 提供 科学 的 参考 依据 ， 那 么 也 能 够 增加 IDC 业务 收入 。 判 断 在 某 区 域 是 否 应 当 设置 
CDN 节点 的 关键 为 : 移动 用 户 到 应 用 之 间 是 否 存在 跨 地 域 和 跨 电信 运营 商 网 络 问题 ?应 用 
价值 和 用 户 价值 是 否 超过 某 个 预 设 阔 值 ? 

基于 移动 用 户 上 网 记录 大 数据 可 以 解决 以 上 问题 。 首 先 , 基于 应 用 的 主机 人 P 和 访问 应 
用 的 移动 终端 中 可 以 推算 应 用 部 署 归 属地 和 应 用 访问 源 归 属地 ,如果 两 者 不 一 致 , 则 存在 
跨 网 、 跨 区 域 问题 ， 其次， 应 用 访问 流量 可 以 作为 判断 应 用 价值 高 低 的 依据 ; 最后， 区 域 
用 户 ARPU 作为 判断 用 户 价值 高 低 的 依据 。 根据 以 上 三 种 因素 的 计算 结果 , 可 以 形成 CDN 
节点 设置 的 依据 。 

除了 移动 用 户 上 网 记录 大 数据 ， 用 户 通话 记录 大 数据 也 是 电信 运营 商 特有 的 大 数据 资 
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产 。 基 于 用 户 通 话 记 录 大 数据 ， 可 以 构建 基于 通话 行为 的 社交 网 络 。 
基于 通话 行为 的 社交 网 络 分 析 结果 可 以 开发 出 很 多 创新 型 应 用 。 比 如 ， 商 家 可 以 基于 
社交 网 络 发 现 通信 用 户 的 人 际 圈 ， 并 实施 针对 性 营销 ; 公共 安全 管理 机 构 可 以 基于 社交 网 
络 辅助 破案 ， 等 等 。 


2. 大 数据 在 金融 行业 的 应 用 总 结 


客户 信用 风险 是 金融 企业 业务 管理 的 关键 环节 。 

金融 企业 的 客户 类 型 不 同 ， 信 用 评估 的 方式 和 关注 点 也 是 不 同 的 。 

大 中 型 企业 贷款 具有 “规模 大 、 人 额度 大 、 风 险 大 ”的 特点 ， 财 务 能 力 和 生产 经 营 能 力 
决定 偿 贷 能 力 和 风险 沿 口 ， 例 如 资产 负债 比 、 现 金 净 流量 、 销 售 净利 率 、 市 场 和 产品 竞 
力 等 。 

小 微 企 业 贷款 具有 “期 限 短 、 额 度 小 、 随 借 随 还 ”的 特点 ， 因 此 靠 金融 机 构 人 工 完成 
贷款 审批 是 不 现实 的 ， 需 要 采用 基于 大 数据 的 客户 信用 评估 系统 辅助 完成 。 电 子 商 务 平台 
上 关于 小 微 企 业 的 B2B 采购 信息 和 B2C 交易 信息 ， 可 以 反映 小 微 企业 的 现金 管理 能 力 和 
生产 经 营 能 力 ， 成 为 小 微 企业 信用 评估 的 重要 输入 。 阿 里 金融 面向 小 微 企 业 ， 利 用 电子 商 
务 平台 大 数据 ， 运 用 “大 数 定律 ” 在 贷 前 评估 、 贷 中 审查 、 贷 后 监测 、 违 规 惩罚 等 环节 实 
施 量化 和 自动 化 处 理 ， 实 现 了 高 效率 的 信用 评估 。 

FICO 评分 系统 是 个 人 信用 评估 领域 的 典范 。FICO 评分 系统 主要 关注 5 个 方面 ， 即 客 
户 信 用 偿还 历史 、 信 用 账户 数 、 使 用 信用 年 限 、 正 在 使 用 的 信用 类 型 以 及 新 开 立 的 信用 账 
户 。 国 内 首 家 大 数据 信用 评估 公司 Wecash 充分 利用 互联 网 社交 大 数据 ， 实 现 了 面向 个 人 
用 户 信 用 评估 的 创新 。 

金融 诈骗 对 金融 行业 造成 了 严重 危害 ， 破 坏 了 社会 诚信 基础 。 在 证 券 行业 ， 人 们 把 通 
过 未 公开 的 信息 悄悄 建仓 ， 低 价 买 入 、 高 价 卖 出 ， 获 得 高 额 利润 的 行为 称 为 “老鼠 仓 ”。 据 
悉 ， 中 国 证 监 会 基于 大 数据 分 析 平 台 ， 对 证 券 交 易 所 交易 数据 进行 实时 监测 ， 对 异常 情况 
进行 报警 ， 及 时 发 现 “老鼠 仓 ” 和 “ 捕 鼠 ”， 成 为 大 数据 在 金融 领域 的 创新 型 应 用 。 


3. 大 数据 在 互联 网 行业 的 应 用 总 结 


近年 来 ， 互 联网 为 广大 人 民 提 供 了 新 闻 、 搜 索 、 即 时 消息 、 电 子 商 务 等 不 计 其 数 的 免 
费 〈 或 称 廉价 ) 服务 ， 在 国外 出 现 了 雅虎 、 谷 歌 、 脸 书 、 推 特 、 亚 马 逊 等 国际 知名 互联 网 
企业 ， 在 国内 出 现 了 新 浪 、 搜 狐 、 百 度 、 腾 讯 、 阿 里 巴巴 等 知名 互联 网 企业 。 互 联网 大 大 
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改变 了 个 人 的 生活 方式 。 
人 们 在 享受 互联 网 提供 的 便捷 、 廉 价 服务 的 同时 ， 互 联网 服务 平台 也 悄悄 地 记录 下 个 
人 的 特征 和 行为 信息 。 以 社交 网 络 系统 为 例 ， 通 过 大 数据 分 析 ， 可 以 发 现 个 人 的 社会 关系 
网 络 及 其 强 弱 程度 。 对 于 个 人 ， 可 以 发 现 多 年 不 联系 的 同学 、 老 乡 、 战 友 、 同 事 或 者 具有 
共同 兴趣 爱好 的 朋友 等 ， 对 于 企业 ， 可 以 通过 社交 关系 分 析 发 现 所 需 的 专业 人 才 ; 对 于 公 
共 安 全 管理 部 门 , 可 以 通过 社交 关系 分 析 预 测 重点 关注 人 员 的 犯罪 倾向 , 并 提前 采取 措施 。 
电子 商务 消除 了 商品 交易 过 程 中 的 信息 不 对 称 现象 ， 有 效 地 匹配 了 市 场 需求 和 供给 ， 
提高 了 商品 购买 的 便捷 性 ， 因 此 又 被 称 作 无 摩擦 经 济 、 眼 球 经 济 、 新 经 济 。 
电子 商务 平台 记录 了 商品 交易 信息 ， 包 括 商家 的 采购 、 库 存 、 销 售 、 服 务 等 记录 以 及 
买 家 浏览 、 搜 索 、 和 选择、 购买、 咨询、 投诉、 建议 等 记录 ， 形 成 了 电子 商务 大 数据 。 
电子 商务 大 数据 具有 多 种 用 途 。 比 如 ， 可 以 用 于 金融 机 构 对 商家 和 个 人 的 信用 评估 ， 
可 以 分 析 购 买 行为 特征 进行 产品 推荐 ， 可 以 根据 用 户 评论 改进 产品 ， 可 以 根据 商品 搜索 关 
键 字 确 定 商品 采购 内 容 ， 可 以 根据 客户 浏览 行为 优化 商品 购买 流程 等 。 
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框架 体系 : 以 不 变 应 万 变 


企业 既 要 适应 外 部 不 断 变 化 的 环境 ， 又 要 协调 好 内 部 的 各 种 资源 ， 以 最 节省 成 本 的 方 
式 为 用 户 提供 最 好 的 产品 和 服务 ， 这 样 才 能 够 在 市 场 竞争 者 处 于 领先 地 位 ， 在 激烈 的 市 场 
竞争 中 得 以 生存 和 发 展 。 

企业 需要 根据 外 部 市 场 要 求 ， 制 定 长 远 的 发 展 战略 ， 不 断 调 整 发 展 方向 和 重点 ， 而 发 
展 战略 需要 贯彻 在 企业 生产 经 营 的 每 一 个 环节 ， 需 要 将 业务 需求 落地 到 IT 系统 之 中 , 可 见 
企业 管理 是 一 个 复杂 的 系统 化 工程 。 

为 了 解决 复杂 的 企业 管理 问题 ， 业 界 提 出 了 企业 架构 的 思路 与 方法 。 一 方面 ， 企 业 架 
构 有 效 地 承接 企业 的 发 展 战略 ， 另 一 方面 ， 企 业 架 构 又 能 够 将 企业 发 展 战略 的 目标 要 求 反 
映 到 企业 日 常 的 运营 活动 当中 。 可 见 ， 企 业 架 构 位 于 企业 发 展 战略 和 企业 日 常 运 营 之 间 ， 
起 到 桥梁 和 纽带 的 作用 。 

在 多 种 企业 架构 方法 论 之 中 ， 以 Zachman 企业 架构 框架 最 为 典型 ， 此 外 还 包括 开放 组 
架构 框架 (The Open Group Architecture Framework，TOGAF )、 集 成 式 架 构 框 架 (Integrated 
Architecture Framework，IAF)、 美 国 首席 信息 官 协会 (National Association of State Chief 
Information Officers，NASCIO) 等 。 

大 数据 运营 体系 需要 在 科学 的 、 经 过 实践 检验 的 方法 论 的 指导 下 构建 ， 为 了 保证 本 书 
内 容 具 有 清晰 的 逻辑 和 严谨 的 体系 架构 , 本 书 参考 了 两 个 均 具 有 20 余年 发 展 历史 的 框架 体 
系 。 一 个 是 电信 管理 论坛 (TMF) 推出 的 Frameworx 框架 体系 ， 另 一 个 是 英国 政府 商务 部 
(OGC) 推出 的 ITIL 框架 体系 。 

Frameworx 框架 体系 为 电信 价值 链 的 各 参与 方 ( 电 信 运 营 商 、 设 备 供应 商 、 服 务 提供 
商 、 软 件 开发 商 、 系 统 集成 商 等 ) 提供 了 一 个 公共 参考 框架 。Frameworx 框架 体系 包括 业 
务 框 架 、 信 息 与 数据 框架 、 应 用 框架 以 及 系统 集成 框架 ， 虽 在 为 电信 行业 构建 一 个 和 谐 的 
由 于 Frameworx 框架 体系 立足 于 电信 运营 ， 因 此 更 侧重 于 对 业务 框架 和 应 用 框架 的 刻 
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画 ， 对 于 电信 和 运营 支撑 系统 的 落地 实施 ， 则 通过 集成 框架 和 技术 中 立 框架 予以 屏蔽 。 因 此 ， 
本 书 主要 参考 Frameworx 框架 体系 中 的 业务 部 分 以 及 “业务 -> 应 用 〈 能 力 ) -> 技术 ”的 关 
联 映射 思想 。 此 外 ， 笔 者 对 多 年 的 信息 系统 规划 设计 与 工程 项 目 实施 经 验 进行 提炼 总 结 ， 
从 10 个 视角 〈 业 务 过 程 、 人 信息、 应用、 集成、 功能、 数据、 技术、 部署 、 安 全 、 治 理 ) 定 
义 了 企业 在 不 同 层面 、 不 同 阶段 的 框架 设计 方法 及 方案 。 
大 数据 服务 属于 企业 架构 中 支持 决策 的 部 分 ， 大 数据 服务 与 负责 执行 的 操作 型 应 用 相 
互 配合 ， 共 同 完成 企业 在 高 层 战略 、 中 层 管理 、 基 层 执行 三 个 层次 的 业务 活动 。 
企业 架构 蓝图 对 企业 提出 了 10 个 维度 的 目标 要 求 ， 但 还 是 无 法 保证 大 数据 服务 的 落 
地 实施 ， 还 需要 按照 软件 工程 的 思想 ， 将 大 数据 服务 从 创意 转换 为 实现 。ITIL 框架 体系 以 
服务 战略 为 中 心 ， 参 考 软件 工程 的 瀑布 模型 和 循环 迭代 的 设计 思维 ， 可 以 作为 大 数据 服务 
落地 实施 的 方法 论 指导 。ITIL 将 IT 服务 划分 为 设计 、 转 换 、 运 维 、 持 续 改进 4 个 闭环 的 
阶段 ， 以 过 程 管理 为 导向 ， 实 现 IT 服务 的 全 生命 周期 管理 。 大 数据 服务 是 一 种 IT 服务 ， 
同样 可 以 沿 着 设计 、 转 换 、 运 维 、 持 续 优 化 的 IT 服务 管理 思路 ， 通过 持续 的 运营 ， 为 企业 
提供 更 加 及 时 、 有 效 的 决策 支持 服务 。 
下 面 分 别 介绍 Frameworx 框架 体系 和 ITIL 框架 体系 的 发 展 历 程 、 实 现 方法 与 思路 ， 
以 便 使 读者 掌握 大 数据 运营 的 方法 体系 。 本 部 分 内 容 的 思维 导 图 如 下 所 示 。 


企业 架构 位 于 企业 发 展 战略 和 企业 日 常 运营 /TT 系统 日 常 运 维 之 间 ， 起 到 桥梁 和 纽带 的 作用 ， 着 力 解决 复杂 的 企业 管理 问题 
引 、Zachman 模 型 是 企业 架构 领域 的 典型 代表 ,包括 从 上 到 下 的 5 个 层次 以 及 从 左 到 右 的 6 个 W， 共 30 个 元 于 
开放 组 架构 框架 TOGAF、 集 成 式 架构 框架 IAF、 美 国 首席 信息 官 协会 NASCIO 也 是 企业 架构 领域 的 重要 框 架 体系 


框架 体系 经 历 了 eTOM、NGOSS、Frameworx 几 次 大 的 洞 整 
杷 架 体系 包括 业务 过 程 、 信 息 与 数据 、 应 用 、 集 成 四 个 维度 

Frameworx 幅 架 体系 大 局 观 S| 时 间 维 : 战 路 、 基 础 设 郑 、 产 品 、 运 管 准备 、 开 通 、 保 障 、 计 和 7 个 阶段 
空间 维 ; 市 场 、 襄 户 、 产 品 、 业 务 、 资 源 、 供 应 商 /合作 伙伴 、 企 业 管理 7 个 城 


Frameworx 框 架 体系 癌 


TI 要 架 体系 发 展 历程 © ITIL 经 历 了 = 个 版 本 的 变化 ，v1 以 职能 为 中 心 ，vz 以 过 程 为 中 心 ，v3 增 加 了 生命 周期 管理 
ITILv2 采 用 过 程 管理 方式 ， 服 务 交付 负责 前 台 业务 骤 务 ， 服 务 支持 负责 后 台 技术 支撑 
ITILvz 框 架 体系 介绍 S/ 服务 支持 包括 服务 台 ( 职能 ) 、 事 件 管理 、 问 是 管理、 配置 管理 、 变 更 管理 和 发 布 管理 
人 服务 交付 旬 括 服务 级 别管 理 、[T 服 务 财务 管理 、 可 用 性 管理 、 能 力 管理 以 及 IT 服 务 连 续 性 管理 
ITILv3 以 服务 战略 为 中 心 ， 更 只 有 大 局 观 ; 采用 自 顶 而 下 与 备 环 选 代 相 结合 的 [[ 极 务 管 理 方式 
采用 生命 周期 管理 方法 ， 实现 从 服务 设计 、 服 务 转换 、 服 务 运营 以 及 服务 持续 改进 的 全 过 程 管理 


ITIVITSM 框 架 体系 上 


ITILv3 框 架 体系 介绍 号 
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7.1 企业 架构 : 战略 与 运营 之 桥 


从 不 同 层 次 、 不 同 视角 刻画 企业 ， 形 成 既 能 够 承接 企业 发 展 战略 ， 又 能 够 指导 企业 日 常 运营 的 
企业 架构 框架 。 


企业 需要 根据 外 部 环境 的 变化 不 断 调 整 发 展 战略 ， 而 企业 发 展 战略 需要 贯彻 到 运营 活 
动 和 IT 系统 之 中 才 行 ， 而 企业 架构 能 够 在 承担 这 一 中 间 角 色 中 发 挥 关键 的 作用 。 

20 世纪 80 年 代 ，IBM 公司 员工 Zachman 提出 了 “信息 系统 架构 框架 ”的 概念 ， 此 外 
还 有 欧 共 体 总 体 框架 的 TOGAF、 联 邦 总 体 架构 框架 的 FEAF 等 。 

Zachman 虽然 首次 提出 信息 系统 架构 框架 的 概念 ， 但 是 还 是 从 企业 建 模 的 角度 出 发 
多 局 限于 信息 系统 架构 ， 随 着 时 代 的 发 展 ， 业 界 才 明确 提出 了 企业 架构 的 概念 。 

Gartner 对 企业 架构 的 定义 为 : 企业 架构 是 能 够 对 破坏 性 外 力 做 出 主动 、 全 面 、 及 时 响 
应 的 原则 ， 它 依靠 识别 和 分 析 变 革 执 行 的 效果 来 完成 。 企 业 架 构 价值 的 交付 是 通过 业务 和 
IT 部 门 共 同 签字 认可 后 调整 策略 和 项 目 实现 业务 目标 的 。 企 业 架 构 用 于 引导 决策 朝 着 未 来 
的 目标 架构 演进 。 

维基 百科 对 企业 架构 的 定义 为 : 一 个 定义 明确 的 实践 ， 用 于 引导 企业 的 分 析 、 设 计 、 
规划 以 及 实现 ， 每 时 每 刻 都 采用 一 种 全 局 思维 以 保证 战略 开发 与 实施 的 成 功 完成 。 企 业 架 
构 采 用 架构 原则 和 实践 来 指导 组 织 ， 贯 穿 了 业务 、 信 息 、 流 程 以 及 技术 的 必要 变化 到 战略 
的 执行 所 有 。 这 些 实践 是 站 在 企业 的 不 同 视角 来 识别 、 激 励 并 实现 这 些 变化 的 。 

企业 架构 在 企业 发 展 战略 和 企业 日 常 运营 / 运 维 中 的 定位 如 图 7-1-1 所 示 。 

从 图 7-1-1 可 以 看 出 ,企业 发 展 战略 分 为 业务 发 展 战略 和 IT 发 展 战略 两 个 部 分 ， 两 者 
是 相辅相成 的 关系 ， 企 业 发 展 战略 决定 IT 发 展 战略 的 目标 、 方 向 和 重点 ， 而 IT 发 展 战略 
反 过 来 也 制约 着 业务 发 展 战略 的 制定 。 

在 企业 发 展 战略 的 指导 下 ， 需 要 完成 企业 的 架构 设计 ， 包 括 治理 架构 、 业 务 架 构 、IT 
架构 以 及 转换 架构 。 治 理 架构 负责 确定 企业 架构 的 治理 规则 ， 保 证 企业 架构 能 够 顺利 地 实 
施 。 业 务 架 构 确 定 企业 业务 发 展 的 内 容 ， 包 括 业 务 过 程 、 业 务 规则 、 信 息 模型 等 。IT 架构 
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确定 IT 系统 的 能 力 蓝图 、 功 能 架构 、 数 据 架构 、 技 术 架 构 、 集 成 架构 、 部 署 架 构 等 ， 确 保 
IT 发 展 战略 的 落地 实施 。 转 换 架 构 负 责 将 企业 架构 转换 为 企业 日 常 运营 状态 或 者 IT 系统 
运 维 状态 ， 包 括 业 务 培训 、IT 系统 使 用 培训 、 知 识 管理 等 。 


企业 发 展 战略 Kn 
1 业务 发 展 战略 p= IT 发 展 战略 


企业 日 常 运营 IT 系统 运 维 


工程 项 目 管理 


图 7-1-1 企业 架构 的 定位 


为 了 制定 能 够 有 效 衔接 企业 发 展 战略 和 企业 日 常 运营 的 企业 架构 框架 体系 ， 业 界 提出 
了 许多 企业 架构 模型 ， 其 中 以 Zachman 企业 架构 框架 最 为 典型 。Zachman 企业 架构 框架 模 
型 采用 5 行 6 列 共 30 个 元 素 的 矩阵 式 设计 方法 ， 如 图 7-1-2 所 示 。 

从 图 7-1-2 可 以 看 出 ，Zachman 企业 架构 框架 采用 5 行 6 列 ， 共 30 个 元 素 的 矩阵 式 方 
式 进行 设计 。 

从 横向 行 维度 看 ， 其 采用 自 上 而 下 逐步 落地 的 分 层 方式 ，Zachman 企业 架构 框架 分 为 
5 行 ， 即 业务 范围 (Scope)、 业 务 模型 (Business Model)、 系 统 模型 (System Model)、 技 
术 模 型 (Technical Model) 以 及 详细 描述 (Detailed Description)。 业 务 范围 定义 了 系统 在 
功能 、 成 本 等 方面 的 整体 性 要 求 ， 对 应 参与 方 是 规划 设计 人 员 ; 业务 模型 描述 业务 流程 、 
业务 实体 以 及 实体 之 间 的 关系 ， 对 应 参与 方 为 企业 业务 人 员 ; 系统 模型 描述 系统 功能 和 数 
据 模 型 ， 对 应 的 参与 方 为 系统 设计 人 员 ; 技术 模型 定义 系统 开发 的 技术 方案 、 平 台 、 工 具 
等 ， 对 应 参与 方 为 技术 设计 人 员 ; 详细 描述 定义 系统 的 功能 模块 、 数 据 库 、 开 发 接口 等 ， 
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保证 能 够 分 配给 开发 者 任务 ， 对 应 的 参与 方 为 开发 人 员 。 


Zachman 数据 
框架 《What ) 


务 范 围 


时 间 动机 
(When ) (Why) 


| 


参与 方 


这 Ds 二 5 业务 人 员 
系统 模型 | 时 二 | 殉 调 
交 术 9 | 丁丁 A ||| 
详细 描述 上 站 状 | ren 


只 信 实现 | 数据 、 本 网 络 、 部 署 | 组 织 、 人 员 | 计划 安排 | 策略 、 规 则 


图 7-1-2 ”Zachman 企业 架构 框架 模型 


从 纵向 列 维度 看 ，Zachman 框架 认为 一 个 系统 的 建设 需要 6 个 方面 的 信息 ， 称 为 6W， 
它们 分 别 是 数据 〈What)、 功 能 (How)、 网 络 (Where)、 人 员 (Who)、 时 间 (When)、 
动机 (Why )。 

Zachman 企业 架构 框架 模型 从 不 同 层次 、 不 同 视 角 、 不 同 关注 点 ， 多 方位 、 全 面 系 统 
地 定义 了 企业 架构 的 内 容 ， 成 为 企业 架构 框架 方面 的 权威 指南 。 除 了 Zachman 企业 架构 框 
架 , 业界 还 有 一 些 典型 的 企业 架构 框架 , 比如 开放 组 架构 框架 (The Open Group Architecture 
Framework，TOGAF)、 集 成 式 架 构 框 架 (Integrated Architecture Framework，IAF)、 美 国 
首席 信息 官 协会 (National Association of State Chief Information Officers，NASCIO) 等 。 

开放 组 架构 框架 (TOGAF) 包括 业务 架构 、 数 据 架 构 、 应 用 架构 、 技 术 架 构 四 个 部 分 。 
集成 式 架构 框架 (IAF) 分 为 业务 、 信 息 、IT 系统 、 基 础 技术 4 个 部 分 ， 此 外 还 包括 管理 
和 安全 两 个 通用 部 分 ，IAF 又 将 各 个 组 成 部 分 分 为 四 个 层次 ， 即 环境 层次 (Why)、 概 念 层 
次 (What)、 逻 辑 层次 (How) 和 物理 层次 (With What)。 美 国 首席 信息 官 协会 (NASCIO) 
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将 企业 业务 架构 分 为 信息 “What)、 功 能 (How)、 地 点 (Where)、 人 员 (Who)、 业 务 周 
期 (When) 和 业务 动力 (Why) 几 个 部 分 。 


可 见 ， 无 论 是 哪个 企业 架构 框架 ， 与 Zachman 企业 架构 框架 都 具有 非常 相似 之 处 ,其 


目标 都 是 通过 从 不 同 层次 、 不 同 视角 刻画 企业 的 方式 ， 形 成 既 能 够 承接 企业 发 展 战略 ， 又 
能 够 指导 企业 日 常 运 营 的 企业 架构 框架 。 


7.2 ”Frameworx 框架 体系 : 电信 行业 的 灯塔 


业务 过 程 框架 、 信 息 框架 、 应 用 框架 、 系 统 集成 框架 从 四 个 不 同 视角 定义 业务 、 能 力 以 及 业务 
服务 需求 ， 为 四 位 一 体 的 框架 体系 架构 。 


自从 伟大 的 贝尔 先生 发 明 电 话 以 来 ， 通 信 技 术 从 模拟 到 数字 ， 从 有 线 到 无 线 ， 从 电路 
交换 到 分 组 交换 ， 不 断 突破 时 间 和 空间 的 限制 ， 取 得 了 一 个 又 一 个 成 就 ， 其 发 展 历程 如 图 
7-2-1 所 示 。 


通信 终 中 E> 3 


发 展 历程 


通信 核心 网 分 组 交换 网 es 
at OD | 
会 (2 
WiEi 4 
第 四 代 
无 线 通信 网 
发 展 历程 


FDD/TDD 
1 浪 级 别 速率 | 


图 7-2-1 通信 终端 ”核心 网 以 及 无 线 网 发 展 历程 
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从 图 7-2-1 可 以 看 出 ， 无 论 是 通信 终端 还 是 通信 网 络 ， 均 发 生 了 很 大 的 变化 : 从 模拟 
信号 到 数字 信号 ， 从 电路 交换 到 分 组 交换 ， 从 控制 与 承载 一 体 到 控制 与 承载 分 离 ， 从 单一 
功能 设备 到 智能 终端 ， 从 无 线 网 络 Byte 级 别 的 传输 速率 到 百 MB 级 别 的 传输 速率 , 相当 于 
最 初 传输 速率 10 的 级 别 。 
信息 通信 技术 的 飞速 发 展 促进 了 整个 产业 链 的 发 展 ， 与 此 同时 ， 对 于 信息 通信 业务 的 
管理 日 益 复杂 ， 因 此 ， 如 何 对 信息 通信 产业 链 进 行 有 效 管控 成 为 一 个 非常 关键 的 问题 。 


7.2.1 Frameworx 的 发 展 历程 


随 着 通信 技术 在 社会 生活 中 的 广泛 应 用 ， 作 为 提供 通信 业务 的 承载 网 络 也 变 得 越 来 越 
复杂 ， 因 此 电话 的 发 源 地 美国 牵头 成 立 了 网 络 管理 论坛 (Network Management Forum， 
NMF)，NMEF 的 目标 是 发 动 通信 行业 内 的 各 个 参与 方 ， 制 定 一 个 各 参与 方 共同 遵循 的 网 络 
管理 参考 框架 ， 以 推动 整个 通信 行业 的 发 展 。 

随 着 整个 通信 行业 的 不 断 发 展 , 行业 内 部 的 专业 化 分 工 越 来 越 细 , 出 现 了 软件 开发 商 、 
服务 提供 商 、 系 统 集成 商 等 新 的 参与 方 ， 同 时 NMEF 的 管理 对 象 也 开始 从 网 络 管理 拓展 到 
业务 管理 ， 为 了 适应 新 的 发 展 要 求 ，NMF 更 名 为 电信 管理 论坛 (Telecom Management 
Forum，TMF)。 电 信 管 理论 坛 /网 络 管理 论坛 的 发 展 历程 如 图 7-2-2 所 示 。 


Frameworx 


新 的 框架 体系 发 展 到 v14.0 


Frameworx 


000 年 ， 提 出 
新 一 代 运 营 支 
撑 系 统 与 软件 
NGOSS ， 包 括 
eTOM 、SID、 
TAM. TNA 


图 7-2-2 电信 管理 论坛 /网 络 管理 论坛 的 发 展 历程 
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经 历 了 二 十 余年 的 发 展 ， 电 信 管 理论 坛 形成 了 一 套 面向 电信 行业 的 、 结 构 严 谨 的 方法 
体系 。 
随 着 电信 产业 链 的 日 益 成 熟 ， 产 业 链 内 部 的 专业 化 分 工 越 来 越 细 ， 出 现 了 更 多 的 参与 
方 ， 比 如 内 容 提供 商 、 系 统 集成 商 、 软 件 开发 商 、 应 用 开发 商 等 ， 人 迫切 需要 制定 一 个 各 参 
与 方 能 够 共同 遵循 的 参考 框架 ， 包 括 业 务 框架 、 应 用 框架 、 集 成 框架 等 。 各 个 参与 方 的 公 
共 参 考 框架 需求 如 图 7-2-3 所 示 。 


信息 与 数据 框架 


图 7-2-3 各 参与 方 需要 一 个 公共 的 参考 框架 


从 图 7-2-3 可 以 看 出 ， 如 果 各 个 参与 方 有 一 个 公共 参考 框架 ， 那 么 就 相当 于 合唱 团 有 
了 一 个 指挥 家 ， 供 给 方 只 需 按 照 “ 约 定 ” 生 产 ， 需 求 方 只 需 按 照 “ 约 定 ” 采 购 即 可 。 

TME 正式 成 立 后 ， 首 先 提出 了 电信 运营 图 (Telecom Operations Map，TOM)， 这 是 
TMEF 从 网 络 管理 向 业务 管理 拓展 的 第 一 个 里 程 碑 。 

TOM 解决 了 客户 视角 的 业务 管理 问题 , 主要 是 电信 行业 面向 市 场 竞 争 的 结果 , 是 电信 
运营 企业 从 “华商 ”到 “行商 ”思维 转变 的 结果 。 

尽管 TOM 实现 了 这 次 伟大 的 转变 , 但 是 TOM 仅 限 于 运营 管理 , 不 能 全 面 地 观察 电信 
企业 从 战略 、 建 设 、 运 营 以 及 管理 的 全 过 程 。 为 此 ，TMEF 在 TOM 的 基础 上 进行 了 丰富 和 
完善 ， 增 加 了 战略 、 基 础 设施 、 产 品 和 企业 管理 几 个 域 ， 组 成 了 一 个 面向 电信 企业 完整 的 
框架 体系 ， 称 为 增强 的 电信 运营 图 (enhanced Telecom Operations Map，eTOM)。 

eTOM 其 实 是 TMF 提出 的 新 一 代 运 营 支 撑 系 统 与 软件 (New Generation Operations 
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Systems and Software，NGOSS ) 的 一 部 分 ， 除了 eTOM，NGOSS 还 包括 共享 信息 与 数据 
(Shared Information and Data，SID)、 电 信 应 用 图 (Telecom Application Map，TAM)、 技 术 
中 立 架 构 (Technology Neutral Architecture，TNA)，NGOSS 的 目标 实现 电信 运营 支撑 软件 
的 “ 即 插 即 用 ”。 
在 NGOSS 体系 中 ，eTOM 从 企业 活动 出 发 来 描述 企业 业务 过 程 ，SID 则 从 业务 活动 
中 形成 的 信息 和 数据 出 发 描述 企业 数据 模型 ，TAM 则 从 应 用 (能 力 ) 的 角度 出 发 来 描述 企 
业 对 于 电信 运营 支撑 系统 的 能 力 要 求 ， 以 便 电信 产业 价值 链 中 各 参与 方 能 够 有 一 个 共同 的 
能 力 参 考 框架 ， 消 除 不 同 产品 与 服务 提供 商 的 产品 重 肥 问题 ， 实 现 更 节省 、 更 快速 的 系统 

随 着 互联 网 的 飞速 发 展 ， 社 会 分 工 更 加 专业 化 ， 全 球 化 的 资源 配置 与 协同 使 得 企业 从 
简单 的 价值 链 模 式 进化 为 价值 网 络 模式 。 价 值 网 络 时 代 对 于 企业 运营 提出 了 新 的 要 求 ， 电 
信和 运营 商 为 了 适应 这 一 新 的 变化 ， 需 要 调整 现 有 架构 ， 采 用 面向 服务 的 架构 (SOA) 的 架 
构 模 式 ， 满 足 互联 网 时 代 快 速 协同 的 要 求 。 

TMEF 适应 这 一 发 展 趋势 ， 经 过 多 次 论证 讨论 ， 在 2010 年 提出 了 全 新 的 Frameworx 框 
架 体系 。 


7.2.2 ”Frameworx 框架 体系 大 局 观 


Frameworx 框架 体系 以 商业 需求 为 输入 ， 将 运营 支撑 框架 分 为 业务 、 应 用 、 技 术 三 个 
部 分 ， 各 部 分 各 有 侧重 又 相互 联系 ， 形 成 了 一 体 化 的 、 贯 通 业 务 与 技术 的 完整 框架 体系 。 

在 业务 层面 ， 从 业务 过 程 和 信息 数据 两 个 视角 分 别 刻画 ;应 用 层面 ， 将 业务 需求 向 IT 
实现 进一步 收敛 ， 形 成 了 面向 多 个 域 的 支撑 能 力 ; 技术 层面 ， 将 原来 的 TNA 调整 为 SEE， 
通过 业务 服务 (Business Service，BS) 将 业务 过 程 、 信 息 数 据 、 应 用 三 个 方面 有 机 地 结合 
起 来 。 业 务 服务 也 称 为 合约 (Contract)。 

x 是 一 个 变量 ， 可 以 表示 多 个 不 同 的 值 。 可 见 ，Frameworx 是 x 个 Framework 的 集合 
体 。Frameworx 包括 业务 过 程 框架 (对 应 eTOM)、 信 息 框架 (对 应 SID)、 应 用 框架 (对 
应 TAM) 以 及 系统 集成 框架 (对 应 TNA)。Frameworx 框架 体系 如 图 7-2-4 所 示 。 

Frameworx 是 TMF 从 面向 服务 的 角度 出 发 ， 对 于 NGOSS 进行 了 重新 设计 得 到 的 。 
Frameworx 除了 继承 NGOSS 的 eTOM、SID 以 及 TAM 之 外 ， 主 要 亮点 是 采用 业务 服务 
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(Business Service，BS) 的 方式 实现 系统 集成 。 


业务 度量 


最 佳 实践 


图 7-2-4 ”Frameworx 框架 体系 


业务 服务 其 实 就 是 采用 了 面向 服务 的 思想 。 业 务 服务 来 源 于 其 他 几 个 Framework， 比 
如 以 任务 为 中 心 的 服务 来 源 于 业务 过 程 框架 ( 即 eTOM), 以 实体 为 中 心 的 服务 来 源 于 信息 
框架 ( 即 SID)， 以 效用 (Utility〉 为 中 心 的 服务 来 源 于 应 用 框架 ( 即 TAM)。 

当 根 据 需 求 定义 好 所 有 业务 服务 以 后 ， 可 以 将 业务 服务 作为 平台 实现 的 输入 ， 由 于 这 
些 业 务 服务 是 技术 中 立 的 ,因此 与 平台 的 具体 实现 无 关 , 可 以 采用 J2EE/Java、CORBA、NET 
等 任何 语言 和 工具 完成 运营 支撑 系统 的 开发 。 

eTOM、SID、TAM、BS 的 侧重 点 在 于 构建 满足 业务 需求 的 框架 体系 ， 作 为 电信 运营 
支撑 系统 实现 的 参考 框架 ， 还 需要 通过 业务 度量 (Business Metrics) 来 验证 其 是 否 满足 业 
务 需求 。 此 外 ，Frameworx 还 根据 业务 和 技术 发 展 重点 ， 给 出 了 面向 特定 领域 的 最 佳 实践 ， 
通过 最 佳 实践 来 解决 去 计算、 大 数据 、 客 户 体验 管理 安全 等 方面 的 问题 。 
由 于 Frameworx 从 业务 角度 来 描述 企业 ， 同 时 又 具有 技术 无 关 性 ， 因 此 其 框架 体系 具 
有 良好 的 稳定 性 。 此 外 ，Frameworx 框架 体系 采用 资源 层 与 服务 层 分 离 的 方式 ， 因 此 可 以 
作为 其 他 服务 型 企业 架构 设计 的 通用 参考 框架 。 比 如 可 以 作为 教育 、 医 疗 、 交 通 、 餐 饮 等 
服务 型 企业 的 架构 设计 参考 。 
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7.2.3 业务 过 程 框架 介绍 


网 络 管理 论坛 成 立 的 初衷 是 制定 管理 通信 网 络 的 公共 参考 框架 ， 随 着 电信 业务 的 市 场 
化 ， 电 信和 运营 商 不 得 不 面 对 外 部 的 市 场 竞 争 。 为 了 满足 市 场 需要 ， 网 络 管理 论坛 提出 了 电 
信 运 营 图 ， 即 TOM (Telecom Operation Map)， 同 时 网 络 管理 论坛 (NMF) 也 更 名 为 电信 
管理 论坛 CTMF )。TOM 参考 框架 如 图 7-2-5 所 示 。 


客户 服务 过 程 


网 络 与 系统 管理 过 程 


物理 网 元 与 信息 技术 
图 7-2-5 电信 管理 论坛 的 电信 运营 图 (TOM) 


电信 运营 图 虽然 将 电信 产品 推 向 前 台 ， 增 加 了 销售 和 客服 功能 ， 但 是 TOM 还 是 不 能 
立足 于 企业 发 展 全 局 ， 不 能 全 面 地 反映 企业 业务 活动 ， 为 此 ， 电 信 管 理论 坛 在 原来 TOM 
的 基础 上 进行 了 增强 ， 制 定 了 增强 的 电信 运营 图 ， 即 eTOM (enhanced Telecom Operation 
Map )。 当 初 的 TOM 或 者 eTOM 就 是 现在 Frameworx 框架 体系 中 的 业务 过 程 框架 (Business 
Process Framework，BPF )。 

eTOM 采用 分 层 的 方式 从 0 级 视图 开始 逐步 细 化 ， 以 便 电信 运营 图 能 够 更 加 清晰 地 刻 
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画 电 信和 运营 要 求 。eTOM 的 0 级 参考 框架 如 图 7-2-6 所 示 。 


市 场 、 产 品 


| 
、 产 品 、 客户 
1 
三 
资源 
[一 
已 


(应 用 、 计 算 、 网 络 ) 
供应 商 /合作 伙伴 


| 企业 管理 


) 
Ce nell ae le 


7-2-6 ”eTOM (0 级 参考 框架 ) 


从 图 7-2-6 可 以 看 出 ，eTOM 分 为 两 类 来 描述 电信 运营 过 程 ， 一 类 是 电信 运营 过 程 中 
涉及 的 参与 方 ， 比 如 客户 、 供 应 商 、 合 作 伙伴 、 股 东 、 雇 员 以 及 其 他 利益 相关 者 ， 另 一 类 
是 电信 运营 框架 自身 ， 在 0 级 参考 框架 中 分 为 三 个 相互 独立 的 域 ， 即 战略 & 基 础 设施 与 产 
品 域 、 企 业 运 营 域 、 企 业 管理 域 。 

eTOM 的 0 级 参考 框架 仅仅 是 一 个 起 点 , 需要 在 此 基础 上 对 企业 业务 过 程 进一步 细 分 ， 
直到 实际 执行 的 业务 过 程 块 。 


7.2.4 ”信息 框架 介绍 


业务 框架 为 一 体 两 细 ， 一 翼 是 业务 过 程 框架 ， 男 外 一 翼 是 信息 框架 。 信 息 框架 形成 的 
源头 是 企业 业务 过 程 产生 的 信息 ， 而 这 些 信息 是 需要 概念 模型 来 承载 的 。 信 息 与 业务 过 程 
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共同 描述 业务 需求 ， 业 务 过 程 从 动态 角度 描述 ， 信 息 从 静态 角度 描述 。 
在 业务 需求 分 析 阶 段 ， 通 过 概念 模型 来 描述 实体 之 间 的 关系 。 概 念 模型 虽然 可 以 从 业 
务 视 角 对 需求 进行 刻画 , 但 是 其 还 需要 进一步 细 化 才 行 , 为 了 对 概念 模型 进行 有 效 的 管理 ， 
提出 了 信息 框架 。 信 息 框架 与 业务 过 程 框架 相对 应 ， 同 样 是 分 为 市 场 /销售 、 产 品 、 客 户 、 
服务 、 资 源 、 供 应 商 /合作 伙伴 、 企 业 ， 共 7 个 域 ， 此 外 ， 还 有 一 个 特殊 的 公共 业务 实体 ， 
这 是 其 他 域 公用 的 实体 对 象 。 一 级 信息 框架 如 图 7-2-7 所 示 。 


市 场 战略 & 规 划 市 场 营销 活动 接触 /机 会 /预测 


他 他 人道 


产品 规格 产品 开价 产品 使 用 


客户 客户 定单 ”客户 问题 应 用 的 客户 偶 率 | | 客户 民用 采集 | 
客户 


客户 接触 客户 统计 客户 SLA 客户 费用 客户 费用 查询 


ET 
服务 规格 服务 配色 服务 问题 服务 测试 


人 


SR 
sp 规划 


图 7-2-7 信息 框架 (一 级 ) 


为 了 直观 地 看 到 信息 框架 和 业务 过 程 框架 的 一 体 两 愤 关 系 ， 下 面 对 这 两 个 框架 进行 对 
比 ， 对 比 图 如 图 7-2-8 所 示 。 

从 图 7-2-8 可 以 看 出 ， 业 务 过 程 框架 中 的 第 一 层 〈 市 场 、 产 品 、 客 户 ) 在 信息 框架 中 
被 分 为 市 场 /销售 、 产 品 、 客 户 三 个 独立 的 域 ， 其 他 域 ， 如 服务 域 、 资 源 域 、 供 应 商 /合作 
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伙伴 域 、 企 业 管 理 域 ， 则 表现 为 与 业务 过 程 框架 一 一 对 应 的 关系 。 此 外 ， 在 信息 框架 中 ， 
考虑 到 不 同 域 的 实体 对 象 的 复 用 性 ， 新 增 了 一 个 公共 业务 实体 域 。 


IE EEC 
[ws | 


图 7-2-8 业务 过 程 框架 与 信息 框架 对 比 


7.2.5 ”应 用 框架 介绍 


应 用 架构 是 能 力 的 集合 体 ， 也 称 之 为 能 力 蓝图 。 应 用 是 业务 人 员 和 技术 人 员 之 间 的 一 座 
桥梁 ， 是 他 们 之 间 沟 通 的 媒介 。 业 务 人 员 可 以 对 技术 人 员 说 :“ 你 们 要 实现 这 些 能 力 ， 这 是 我 
们 的 需求 , 有 了 这 些 能 力 , 我 们 的 业务 能 力 就 强大 了 !” 技 术 人 员 也 担心 自己 说 的 话 太 “ 技 术 ”， 
业务 人 员 听 不 懂 ， 并 且 担心 因为 没有 沟通 好 而 白 做 了 工作 ， 于 是 就 与 业务 人 员 确 认 :“ 系 统 实 
现 了 这 些 能 力 就 可 以 了 吗 ? 就 满足 你 们 的 需求 了 吗 ? ”业务 人 员 回答 说 :“ 是 这 样 的 !” 

应 用 框架 是 业务 过 程 框架 向 技术 实现 的 进一步 收 化 ， 同 时 也 包括 了 公用 的 应 用 ， 那 是 
因为 应 用 初步 描述 了 技术 特征 ， 而 技术 是 可 以 复 用 的 。 

应 用 框架 与 业务 过 程 框架 相对 应 ， 从 纵向 看 ， 包 括 战 略 、 基 础 设施 生命 周期 管理 、 产 
品 生命 周期 管理 、 运 营 支撑 与 就 绪 、 服 务 开 通 、 服 务 保障 、 服 务 计 费 ， 这 与 业务 过 程 框架 
的 分 类 是 一 致 的 。 从 横向 看 ， 包 括 市 场 _ 销售 域 、 产 品 管理 域 、 客 户 管理 域 、 服 务 管理 域 、 
资源 管理 域 、 供 应 商 /合作 伙伴 管理 域 和 企业 管理 域 ， 这 些 与 业务 过 程 框架 也 基本 一 致 。 与 
业务 过 程 框架 不 同 的 是 , 应 用 框架 还 包括 交叉 域 和 集成 架构 域 , 前 者 是 其 他 域 共用 的 能 力 ， 
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而 后 者 则 是 为 了 实现 应 用 之 间 的 集成 而 需要 的 能 力 。 一 级 应 用 框架 如 图 7-2-9 所 示 。 


图 7-2-9 ”应 用 框架 (1 级 ) 


企业 可 以 设计 符合 自身 的 目标 能 力 蓝图 ， 同 时 也 可 以 分 析 自 身 能 力 后 ， 形 成 能 力 现状 
蓝图 ， 通 过 能 力 现状 蓝图 与 目标 能 力 蓝图 的 对 比 ， 找 出 企业 还 存在 的 能 力 差 距 。 

业务 过 程 框架 和 信息 框架 用 于 描述 业务 需求 ， 但 是 这 些 业务 需求 最 终 还 是 需要 信息 系 
统 来 承载 的 ， 因 此 需要 一 个 参考 框架 来 描述 业务 能 力 。 既 然 应 用 框架 以 业务 过 程 框架 为 输 
入 ， 因 此 它们 之 间 势 必 存 在 着 密切 的 联系 。 一 级 业务 过 程 框架 与 一 级 应 用 框架 的 对 比如 图 
7-2-10 所 示 。 

从 图 7-2-10 可 以 看 出 ， 业 务 过 程 框架 与 应 用 框架 从 战略 到 运营 〈 纵 向 ) 的 分 类 方式 基 
本 是 一 致 的 。 从 市 场 到 资源 的 前 后 分 层 支撑 来 看 〈 横 向 )， 两 种 存在 一 定 的 映射 关系 ， 如 表 
7-2-1 所 示 。 
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表 7-2-1 业务 过 程 框架 与 应 用 框架 对 比 〈 一 级 ) 


业务 过 程 框架 解 析 
市场 上 定价 信息 。 | 下场 _ 销 舍 管理 域 - 运 祝 | 市场 销售 他 柬 了 对 销售 活动 的 支 控 ， 提 伐 解 六 
支撑 与 就 结 、 开 通 。 | 案 、 合 同 管理 等 功能 ， 目 的 是 提升 销售 能 力 
产品 管理 域 -战略 、 基 础 | 产品 首先 是 在 战略 的 指导 下 ,以 基础 设施 为 支撑 而 形 
品 生命 周期 管理 。 | 设施、 产品、 运营 支撑 | 成 的 ,然后 再 完成 配置 、 上 架 等 工作 ， 为 正式 运营 做 
与 就 绪 好 准备 
. | 容 户 关系 管理 完全 局 于 企业 运营 阶段 的 事情 ,其 完成 
客户 关系 管理 客户 关系 管理 域 《 除 战 | 客户 的 引入 、 服 务 、 关 怀 、 维 系 、 挽 留 、 退 出 等 全 生 


略 、 基 础 设施 、 产 品 外 ) 


命 周 期 的 管理 。 


服务 是 连接 市 场 〈 含 客户 、 产 品 、 渠 道 等 要 素 ) 与 资 


[ 沁 ;入 
ps en 服务 管理 域 《 除 计 费 外 ) | 源 的 桥梁 , 是 虚拟 的 ， 不 直接 产生 价值 ， 因 而 无 须 费 
用 的 计算 
资源 开发 与 管理 次 | 资源 以 穿 企业 战 咯 和 运营 的 人 过程， 是 企业 价值 他 和 
源 管理 与 运营 资源 管理 域 《全 部 ) | 的 基础 
供应 链 开发 与 管理 、| 全 si 全 全 人 多 证 二 2 | 供应 商 /合作 伙伴 管理 类 似 于 客户 关系 管理 域 ， 主 要 
供应 商 /合作 估 伴 管 | “外 四、 和 可。 | 侧重 对 供应 机 /合作 伙伴 的 准 入 、 退 出 、 考 核 、 结 和 
理 链 管理 ”| 等 方面 的 管理 
企 . bad 亲信 A 
es 企业 管理 城中 除了 人 力 、 财 务 、 资 产 、 安 全 、 风 险 、 
企业 管理 人 行政 等 功能 外 ,还 纳入 了 供应 链 管 理 ， 包 括 供应 链 规 


划 、 采 购 、 运 输 、 后 勤 、 订 单 跟踪 等 管理 功能 


此 外 ， 应 用 框架 中 还 引入 了 交叉 域 和 集成 架构 域 。 交 叉 域 中 的 应 用 能 力 可 以 为 多 个 域 
共享 ， 包 括 目录 管理 和 故障 管理 。 集 成 架构 域 为 应 用 之 间 集 成 的 通用 型 应 用 ， 包 括 企业 应 
用 集成 《比如 企业 服务 总 线 、 消 息 总 线 等 )、 业 务 流程 管理 /工作 流 、API 管理 。 

可 见 ， 应 用 框架 是 业务 过 程 框架 的 进一步 收敛 ， 同 样 是 分 域 管理 的 ， 每 个 域 对 应 一 个 
能 力 集 。 运 营 企业 可 以 参考 应 用 框架 进行 产品 和 服务 的 采购 以 及 应 用 的 实施 ， 应 用 软件 提 
供 商 、 系 统 集成 商 等 参与 方 也 可 以 参考 应 用 框架 ， 对 自身 产品 进行 定位 ， 避 免 与 其 他 供应 
商 提 供 的 应 用 产生 交叉 和 重 番 。 


7.2.6 ”集成 框架 介绍 
当前 ， 社 会 专业 化 分 工 越 来 越 细 ， 作 为 社会 生产 中 的 每 一 个 环节 ， 都 不 可 避免 地 与 其 


他 企业 或 个 人 进行 交互 ， 需 要 借助 集成 其 他 应 用 来 实现 某 一 个 特定 的 业务 功能 。 为 达到 既 
能 满足 业务 需求 又 能 适应 技术 发 展 变化 的 目的 ，TME 提出 了 通过 业务 服务 〈 即 合约 ) 实现 
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集成 的 思路 ， 业 务 服务 的 集合 就 是 系统 集成 框架 的 具体 内 容 。 
TMF 将 业务 服务 定义 为 : 在 SOA 的 语 境 下 ， 人 工 服务 与 自动 服务 的 综合 体 ， 实 现 特 
定 的 业务 功能 或 特性 ， 提 供 业务 能 力 访问 的 途径 。 此 外 ， 业 务 服务 采用 价值 链 方法 ， 在 声 
明 自 身 提供 的 服务 能 力 的 同时 声明 其 所 依赖 的 服务 ， 如 图 7-2-11 所 示 。 


7-2-11 价值 链 思 维 的 业务 服务 合约 》 


业务 服务 在 业务 过 程 框架 、 信 息 框架 、 应 用 框架 的 连接 关系 中 承担 黏合 剂 的 角色 ， 在 
业务 需求 到 技术 实现 的 过 程 中 所 处 的 位 置 如 图 7-2-12 所 示 。 


图 7-2-12 业务 服务 (合约 ) 创建 过 程 


从 图 7-2-12 可 以 看 出 ， 业 务 服务 以 业务 过 程 建 模 〈 提 供 操作 信息 )、 应 用 组 件 建 模 以 
及 经 过 调整 后 的 信息 与 数据 建 模 〈 提 供 属性 信息 ) 为 输入 ， 构 造 出 各 种 业务 服务 ， 然 后 在 
此 基础 上 进行 接口 定义 ， 最 后 根据 定义 的 接口 生成 代码 框架 。TMI 与 接口 定义 语言 (IDL) 
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类 似 ，IDL 提供 通用 数据 类 型 ， 是 实现 跨 平台 的 基础 。 


7.3 ”ITILATSM 框架 体系 : IT 行业 的 指南 针 


以 服务 方式 管理 IT， 采 用 全 生命 周期 的 管理 方式 ， 分 为 服务 战略 、 服 务 设计 、 服 务 转换 、 服 务 
运营 、 服 务 持续 优化 5 个 阶段 。 


在 IT 治理 方面 ,由 OGC 发 起 并 形成 的 国际 规范 ITIL (IT 基础 设施 库 ) 最 为 典型 。 顾 
名 思 义 ，ITIL 的 管理 对 象 是 IT， 而 IT 又 是 以 服务 的 形式 提供 给 使 用 者 的 ， 因 此 对 于 IT 的 
管理 又 称 为 IT 服务 管理 ， 即 ITSM (IT Service Management)。 

从 管理 范围 角度 看 ，ITILITSM 的 管理 对 象 包括 应 用 软件 和 基础 设施 两 个 层面 ， 如 图 
7-3-1 所 示 。 


(0S 、 中 间 


图 7-3-1 ITILITSM 的 管理 范围 
从 图 7-3-1 可 以 看 出 ，ITIL 负责 对 应 用 层 和 基础 设施 层 的 软件 和 硬件 设备 的 管理 ， 以 
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保障 IT 服务 能 够 满足 用 户 的 正常 使 用 。 从 IT 系统 的 功能 看 ， 分 为 支撑 组 织 生产 的 基础 设 
施 和 应 用 ， 也 有 保障 生产 系统 可 靠 性 的 容 灾 系 统 。 
生产 侧 IT 系统 分 为 基础 设施 层 和 应 用 软件 层 , 基础 设施 层 又 分 为 机 房 设 施 、 系 统 硬件 
和 系统 软件 三 层 ， 应 用 软件 层 包括 功能 、 数 据 、 集 成 接口 三 个 部 分 。 

与 生产 侧 IT 系统 相 呼应 , 容 灾 系 统 从 保障 级 别 角度 分 为 数据 级 容 灾 和 应 用 级 容 灾 , 容 
灾 系 统 从 保障 范围 角度 ， 分 为 异地 容 灾 和 同城 容 灾 。 


7.3.1 ITILITSM 框架 体系 发 展 历程 


ITIL 产生 于 20 世纪 80 年 代 ， 到 目前 为 止 , 已 经 经 历 了 三 个 版 本 的 发 展演 进 。ITIL 发 
展 历 程 如 图 7-3-2 所 示 。 


2004~2007, V3 


1999~2006 年 ，V2 


1986~1999 年 ，V1 


全 生命 周期 管理 模式 


图 7-3-2 ITIL 发 展 过 程 中 版 本 的 变化 


从 1986 年 到 1999 年 ， 属 于 ITIL 第 一 个 版 本 提出 和 应 用 的 阶段 ，ITILv1 采用 职能 管 
理 模式 ， 主 要 解决 组 织 的 工作 效率 问题 。 

从 1999 年 到 2006 年 ， 属 于 ITIL 第 二 个 版 本 提出 和 应 用 的 阶段 ，ITILv2 采用 过 程 管 
理 模式 ,解决 了 各 个 不 同 职能 部 门 之 间 的 协同 和 信息 共享 问题 。 

从 2004 年 到 2007 年 ， 属 于 ITIL 第 三 个 版 本 提出 和 应 用 的 阶段 ，ITILv3 采用 全 生命 
周期 管理 模式 ,使 得 IT 服务 管理 更 具有 大 局 观 和 整体 性 , 开始 按照 成 本 效益 的 方式 设计 和 
评价 IT 服务 。 
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7.3.2 ITILv2 框架 体系 介绍 


ITIL 的 第 一 个 版 本 以 职能 为 中 心 ， 目 标 是 解决 IT 系统 的 支撑 效率 问题 。IT 系统 虽然 
提高 了 工作 效率 ,但 是 多 个 IT 系统 往往 存在 功能 重合 、 数 据 不 一 致 等 不 足 ,为 了 解决 这 一 
问题 ，ITIL 将 治理 架构 从 职能 管理 方式 转变 为 过 程 管理 方式 ， 并 形成 了 ITIL 的 第 二 个 版 
本 。ITILv2 采用 了 从 业务 到 技术 ， 从 服务 交付 到 服务 支持 的 设计 思路 ， 定 义 了 10 个 过 程 
与 1 个 职能 ， 有 效 地 支撑 了 面向 特定 任务 的 实现 。ITILv2 框架 体系 如 图 7-3-3 所 示 。 


IT 服务 管理 实施 规划 


Serv 


Support 


图 7-3-3 ITILv2 框架 体系 


ITILV2 框架 体系 中 的 两 个 核心 模块 是 服务 交付 和 服务 支持 。 服 务 交 付 包括 服务 级 别管 
理 、IT 服务 财务 管理 、 可 用 性 管理 、 能 力 管理 以 及 IT 服务 连续 性 管理 ， 服 务 支持 包括 服 
务 台 《〈 职 能 )、 事 件 管理 、 问 题 管理 、 配 置 管理 、 变 更 管理 和 发 布 管理 。 
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7.3.3 ITILv3 框架 体系 介绍 


ITILVv2 虽然 解决 了 IT 系统 之 间 的 流程 协同 和 信息 共享 问题 ， 但 仍旧 立足 于 解决 某 个 
特定 任务 , 缺乏 大 局 观 与 系统 性 ， 无 法 全 面 地 、 全 过 程 地 计算 IT 服务 的 成 本 效益 。 为 了 解 
决 以 上 不 足 ，ITIL 提出 了 全 生命 周期 管理 模式 ， 推 出 了 ITIL 的 第 三 个 版 本 ITILv3。 
ITILv3 以 服务 战略 为 指导 ， 以 服务 设计 、 服 务 转换 、 服 务 运 营 为 主线 ， 以 服务 持续 改 
进 为 落脚 点 和 新 的 出 发 点 ， 形 成 全 新 的 、 更 加 系统 化 的 框架 体系 。 
ITILV2 到 ITILv3 的 演进 路 线 如 图 7-3-4 所 示 。 


服务 支持 


Service 
Support 


服务 交付 和 a 
Service 
Delivery a 
服务 运营 


局 ~ 


中 四 一 


图 7-3-4 ITIL 框架 体系 从 v2 到 v3 的 演进 


ITILvV3 包括 服务 战略 、 服 务 设计 、 服 务 转 换 、 服 务 运 营 、 服 务 持续 优化 ， 共 5 个 阶段 ， 


形成 了 一 个 以 服务 战略 为 核心 的 、 面 向 IT 服务 的 、 全 生命 周期 管理 的 框架 体系 。 
1. 服务 战略 阶段 


引入 服务 战略 思维 的 主要 目的 是 实现 IT 服务 更 好 的 成 本 效益 ， 使 得 IT 服务 像 经 营业 
务 一 样 ， 能 够 站 在 客户 的 角度 ， 思 考 IT 服务 能 够 为 客户 带 来 多 少 价值 、 消 耗 多 少 成 本 。 
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服务 战略 的 制定 需要 遵循 一 定 的 方法 和 原则 。 服 务 战略 制定 需要 从 价值 创造 、 服 务 资 
产 、 服 务 提供 方 类 型 、 服 务 架 构 等 角度 考虑 。 分 开 来 讲 ， 价 值 创造 是 分 析 IT 服务 能 够 为 客 
户 创造 什么 价值 、 多 少 价值 。 服 务 资产 是 将 资源 与 能 力 看 作价 值 创造 的 基础 ， 综 合 考量 组 
织 外 部 业务 需求 与 内 部 资源 能 力 。 

在 能 力 和 资源 之 间 取 得 平衡 是 I 服务 管理 追求 的 目标 。 能 力 是 组 织 的 “ 软 ” 实 力 ， 
包括 管理 、 组 织 、 流 程 、 知 识 、 人 员 几 个 方面 ， 是 组 织 对 各 种 资源 的 运用 ; 资源 是 组 织 的 
“ 硬 ” 实 力 ， 包 括 财务 资本 、 基 础 设施 、 应 用 、 信 息 、 人 员 几 个 方面 ， 是 组 织 对 外 提供 能 力 
的 基础 。 能 力 与 资源 的 有 效 匹 配 是 IT 服务 管理 的 努力 方向 。 能 力 与 资源 的 关系 如 图 7-3-5 
所 示 。 


图 7-3-5 ITIL 框架 体系 中 组 织 能 力 与 资源 的 关系 


从 图 7-3-5 可 以 看 出 ， 左 侧 属于 能 力 范畴 ， 能 力 体现 了 业务 对 于 IT 能 力 的 需求 ， 右 侧 
属于 资源 范畴 ， 资 源 体现 了 技术 工具 对 于 IT 能 力 的 资源 支持 。 比 如 用 户 在 使 用 IT 服务 的 
过 程 中 ， 发 现 IT 服务 不 可 用 ， 那 么 该 用 户 首先 是 报告 该 问题 ，ITIL 记录 问题 并 将 其 转 入 
相应 的 处 理 流程 ， 这 体现 了 业务 对 于 IT 能 力 的 需求 。 

仅仅 具有 IT 服务 的 管理 流程 还 是 不 够 的 , 流程 的 实现 还 必须 通过 组 织 的 资源 落地 ， 比 
如 用 户 提 出 的 问题 是 某 个 应 用 不 可 用 , 通过 IT 服务 的 管理 流程 转 到 后 台 处 理 后 , 发 现 是 由 
于 某 个 系统 软件 不 可 用 引起 的 ， 通 过 重新 启动 该 系统 软件 将 不 可 用 应 用 变 得 可 用 ， 从 而 解 
决 了 某 应 用 不 可 用 的 问题 。 系 统 软件 就 是 组 织 的 “资源 ”。 
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服务 战略 阶段 包括 财务 管理 、 服 务 组 合 管理 、 需 求 管理 几 个 关键 过 程 。 
财务 管理 是 从 成 本 效益 角度 思考 问题 的 , 即 组 织 在 制定 I 服务 发 展 战略 时 , 应 当 考虑 
IT 服务 发 生 的 成 本 、 增 加 的 利润 或 者 收入 ， 从 经 济 学 的 角度 定义 IT 服务 。 
服务 组 合 管理 是 制定 IT 服务 战略 的 主要 方法 , 根据 IT 服务 集中 服务 的 价值 进行 评估 ， 
确定 服务 的 组 合 ， 以 便 组 织 制定 服务 管理 的 策略 ， 包 括 服务 投资 策略 、 服 务 处 理 策略 、 服 
务 退出 策略 等 。 服 务 组 合 管理 与 业务 组 合 管理 的 思维 类 似 ， 只 不 过 服务 组 合 管理 面向 组 织 
内 部 的 业务 部 门 ， 而 业务 组 合 管理 面向 组 织 的 外 部 市 场 与 客户 。 
需求 管理 是 服务 战略 制定 中 的 关键 一 环 ， 可 以 分 为 功能 性 需求 和 非 功 能 性 需求 ， 非 功 
能 性 需求 包括 用 户 体验 、 可 用 性 、 性 能 等 。 需 求 管理 过 程 对 需求 进行 描述 和 验证 ， 目 标 是 
保证 IT 服务 管理 过 程 的 完整 性 。 


2. 服务 设计 阶段 


服务 设计 以 服务 战略 为 指导 , 通过 对 IT 服务 的 综合 考虑 ,为 服务 转换 和 服务 运营 做 好 
各 种 准备 工作 。 良 好 的 服务 设计 能 够 帮助 组 织 降低 TCO (总 体 拥有 成 本 )、 提 高 服务 质量 、 
提升 服务 一 致 性 、 使 新 的 或 者 变更 的 服务 更 易于 实施 、 提 升 IT 治理 能 力 、 保 证 服务 管理 与 
IT 过 程 的 有 效 性 、 改 进 信息 与 决策 支持 等 。 

服务 设计 阶段 需要 考虑 的 因素 包括 服务 目录 、 服 务 水 平 、 服 务 能 力 〈 所 需 资源 )、 可 
用 性 、IT 服务 连续 性 、 信 息 安 全 、 服 务 供应 商 等 方面 。 

服务 目录 管理 是 在 ITILv3 中 着 重 提出 的 ， 主 要 原因 是 IT 服务 需要 面向 客户 、 用 户 等 
各 参与 方 ， 是 价值 创造 与 成 本 消耗 的 依据 。 通 俗 地 讲 ， 就 是 IT 服务 为 客户 带 来 什么 、 多 大 
价值 ， 需 要 消耗 多 少 人 力 、 财 力 、 物 力 成 本 ， 都 需要 基于 服务 进行 测算 。 

如 果 将 服务 目录 比 作 饭 店 的 菜单 ， 一 方面 ， 菜 单 〈IT 服务 目录 ) 可 以 作为 客户 选择 饭 
菜 、 酒 水 等 的 参考 ， 男 一 方面 ， 菜 单 (IT 服务 目录 ) 中 的 条 目 也 反映 了 饭店 消耗 的 租金 、 
水 、 电 、 煤 气 、 蔬 菜 、 厨 师 等 资源 成 本 情况 。 

服务 水 平 管理 是 服务 差异 化 的 一 种 表现 ， 所 谓 “ 看 人 下 菜 ”， 需 要 区 别 对 待 不 同等 级 
的 IT 服务 。 服 务 水 平 管理 过 程 的 目标 是 保证 服务 提供 商 能 够 按照 预先 约定 的 服务 水 平 来 交 
付 服务 ， 无 论 是 当前 正在 使 用 的 IT 服务 还 是 将 要 使 用 的 IT 服务 。 

能 力 是 工 服务 与 资源 的 连接 点 , 跨越 服务 生命 周期 的 全 过 程 , 在 服务 设计 阶段 起 到 非 
常 关键 的 作用 ， 可 以 将 能 力 分 为 业务 能 力 、 服 务 能 力 以 及 组 件 能 力 。 能 力 管理 应 当做 到 既 
能 满足 业务 需求 ， 又 能 以 较为 合理 的 成 本 实现 ， 也 就 是 说 能 力 管理 需要 平衡 成 本 与 资源 、 
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供给 与 需求 。 

能 力 管理 可 以 将 当前 的 能 力 与 规划 要 求 的 能 力 进行 对 比 ， 以 便 帮 助 服务 提供 商 确定 哪 
一 个 组 件 需 要 升级 、 何 时 升级 以 及 升级 的 成 本 等 。 能 力 管理 应 当 植 入 服务 组 合 与 采购 过 程 
中 ， 以 保证 服务 提供 商 与 服务 供应 商 的 合作 共 赢 。 

可 用 性 是 交互 式 IT 产品 /系统 的 重要 质量 指标 ， 指 的 是 产品 对 用 户 来 说 有 效 、 易 学 、 
高 效 、 好 记 、 错 少 以 及 令 人 满意 的 程度 ， 即 用 户 能 否 用 产品 完成 他 的 任务 ， 效 率 如 何 ， 主 
观感 受 怎样 ， 实 际 上 是 用 户 视角 的 产品 质量 ， 是 产品 竞争 力 的 核心 ， 可 见 ， 可 用 性 管理 是 
非常 重要 的 。 

为 了 实现 可 用 性 管理 ， 需 要 提供 对 可 用 性 相关 问题 的 管理 ， 关 联 服务 与 资源 ， 确 保 所 
有 可 用 性 目标 得 以 测度 与 实现 。 一 般 可 用 性 测度 标准 包括 : 可 用 百分比 、 不 可 用 百分比 、 
持续 时 间 、 失 败 频率 、 失 败 影响 等 。 可 用 性 管理 一 般 要 经 过 检测 、 诊 断 、 修 补 、 恢 复 、 复 
位 的 过 程 。 

IT 服务 连续 性 管理 的 目标 是 保证 IT 技术 与 服务 设施 (包括 计算 机 系统 、 网 络 、 应 用 、 
数据 仓库 、 通 信 、 环 境 、 技 术 支 持 与 服务 台 ) 能 够 在 要 求 的 、 约 定 的 时 间 内 得 以 恢复 。IT 
服务 连续 性 管理 聚焦 在 那些 重大 的 足以 称 之 为 灾难 的 事件 〈 非 重大 事件 缺 省 由 事故 管理 过 
程 来 处 理 )。 可 见 ，IT 服务 连续 性 管理 类 似 于 容 灾 管 理 。 为 了 保证 系统 的 可 靠 性 ， 可 以 根 
据 业 务 特点 进行 分 级 管理 ， 比 如 分 为 数据 级 、 平 台 级 、 应 用 级 等 ， 也 可 按 地 域 范围 分 为 同 
城 级 〈 城 域 )、 异 地 级 〈 广 域 ) 等 。 

信息 安全 管理 过 程 的 目标 是 使 IT 安全 与 业务 安全 保持 一 致 , 保证 信息 安全 在 所 有 服务 
与 服务 管理 活动 中 得 以 有 效 管理 。 信 息 安全 应 当 保证 信息 的 可 用 性 、 私 密 性 、 完 整 性 以 及 
在 业务 过 程 中 的 优先 级 。 与 信息 安全 管理 有 关 的 策略 包括 : 使 用 或 误 用 IT 资产 、 接 入 控制 、 
密码 控制 、 电 子 邮 件 、 因 特 网 、 抗 病毒 、 信 息 分 级 、 文 档 分 级 、 远 程 访问 、 供 应 商 访问 IT 
服务 /信息 /组 件 、 资 产 处 理 等 。 

供应 商 管理 过 程 的 目标 是 通过 对 供应 商 及 其 提供 服务 的 管理 ， 达 到 为 业务 提供 无 颖 的 
IT 服务 质量 的 目的 ， 保 证 物 有 所 值 。 按 照 IT 服务 的 重要 性 ， 可 以 将 供应 商 划分 为 战略 型 、 
战术 型 、 操 作 型 、 一 般 商 品 型 。 不 同 级 别 的 供应 商 对 于 服务 提供 商 的 风险 不 同 ， 采 取 的 管 
理 措施 也 不 一 样 。 与 供应 商 管理 相关 的 信息 包括 : 供应 商 分 类 与 合同 维 保 ， 新 供应 商 评估 
及 合约 设置 ， 供 应 商 创 建 ， 供 应 商 管理 与 合约 履行 ， 续 约 及 解约 等 。 
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3， 服 务 转换 阶段 


当 服 务 设 计 完成 后 ， 需 要 将 新 的 或 者 变更 的 服务 转换 为 运营 态 ， 同 时 对 失败 或 者 破坏 
的 风险 实施 有 效 控制 ， 此 阶段 的 工作 称 为 服务 转换 。 

服务 转换 的 策略 包括 : 尽 可 能 使 用 现 有 的 过 程 与 系统 、 对 齐 服务 转换 计划 与 业务 需求 、 
建立 并 维系 与 利益 相关 者 的 关系 、 提 供 知 识 转换 与 决策 支持 、 准 备 待 发 送 的 包 、 保 证 新 的 
或 者 变更 的 服务 质量 等 。 

按照 服务 转换 的 先后 顺序 ， 服 务 转 换 过 程 包括 转换 规划 与 支持 、 变 更 管理 、 服 务 资产 
与 配置 管理 、 发 布 与 部 署 管理 、 服 务 验 证 与 测试 、 评 估 以 及 知识 管理 ， 共 7 个 过 程 。 服 务 
转换 过 程 如 图 7-3-6 所 示 。 


配置 管理 数据 库 知识 库 


图 7-3-6 服务 转换 过 程 


此 外 ， 服 务 转换 的 过 程 也 可 以 分 为 服务 生命 周期 支持 与 服务 转换 支持 两 类 。 

(1) 支持 服务 生命 周期 的 过 程 

支持 服务 生命 周期 的 过 程 包括 : 变更 管理 、 服 务 资产 与 配置 管理 、 知 识 管理 。 

变更 是 由 许多 原因 引起 的 ， 可 以 归 为 主动 发 起 的 变更 和 被 动 处理 的 变更 两 类 。 主 动 发 
起 的 变更 是 为 了 寻求 业务 利益 ,比如 降低 成 本 、 提 升 服务 或 者 提升 易 用 性 和 支持 的 有 效 性 。 
被 动 处 理 的 变更 是 作为 解决 错误 并 适应 变化 的 环境 的 一 种 手段 。 

变更 管理 的 目的 包括 : 减少 风险 、 降 低 任 何冲 击 与 破坏 的 严重 程度 以 及 提升 一 次 性 成 
功率 。 根 据 变更 产生 的 原因 ， 将 变更 分 为 战略 变更 与 运营 变更 两 类 。 

战略 变更 产生 的 原因 包括 : 组 织 变更 、 法 律 /规章 制度 变更 、 策 略 与 标准 变更 、 分 析 业 
务 、 客 户 以 及 用 户 活动 模式 后 的 变更 、 引 入 新 服务 的 变更 、 采 购 模 型 引起 变化 的 变更 、 技 
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术 创 新 等 。 

运营 变更 产生 的 原因 包括 服务 运营 人 员 需 要 实施 纠 错 型 与 预防 型 变更 ， 因 此 需要 借助 
标准 化 的 变更 过 程 ， 例 如 : 服务 器 重启 会 影响 到 共享 服务 等 类 似 情况 。 

服务 资产 与 配置 管理 的 目的 是 辅助 完成 服务 转换 过 程 ， 包 括 资 产 管理 和 配置 管理 两 个 
方面 。 资 产 管 理 主要 关注 资源 的 价值 属性 ， 配 置 管理 则 关注 于 资源 的 使 用 属性 。 资 产 管理 
记录 了 资源 所 占用 的 成 本 ， 以 便于 计算 IT 服务 所 消耗 的 成 本 。 配置 管理 通过 配置 项 及 其 关 
联 关系 刻画 了 应 用 〈 人 力 资源 管理 、 客 户 关系 管理 、 合 作 伙伴 管理 等 )、 基 础 设施 (服务 器 、 
存储 、 网 络 等 )、 机 房 〈 电 源 、 空 调 、 机 柜 、 各 种 传感器 等 ) 等 资源 之 间 的 关系 。 

配置 管理 的 作用 是 辅助 完成 服务 转换 方案 的 制定 〈 比 如 服务 变更 需要 涉及 哪些 应 用 、 
软件 、 硬 件 ) 以 及 服务 部 署 的 执行 (根据 服务 转换 方案 ， 将 资源 配置 到 相应 的 软件 和 硬件 
设备 上 )。 配 置 管理 的 基本 单元 是 配置 项 (Configuration Item，CI)， 配 置 管理 功能 需要 在 
配置 管理 数据 库 〈Configuration Management Database，CMDB ) 的 支撑 下 完成 。 

知识 是 数据 与 信息 的 高 级 阶段 。 如 果 说 数据 是 离散 的 事件 集合 〈 一 般 以 结构 化 形式 存 
在 ), 信息 来 自 于 由 数据 支持 的 上 下 文 (一 般 以 半 结 构 化 形式 存在 )， 那么 知识 则 是 由 经 验 、 
思想 、 洞 察 、 价 值 以 及 判断 组 成 的 ， 是 人 类 智慧 的 体现 。 

知识 管理 的 目的 是 保证 信息 能 够 在 恰当 的 时 间 、 地 点 交付 到 能 够 胜任 某 项 工作 的 人 员 
手中 ， 和 辅助 其 做 出 明智 的 决策 。 知 识 管理 对 于 成 果 的 服务 转换 体现 为 : 

(1) 用 户 、 服 务 台 、 支 持 人 员 以 及 供应 商 能 够 理解 新 的 或 者 变更 的 服务 ， 包 括 那 些 与 
错误 有 关 的 知识 ， 以 帮助 他 们 在 服务 管理 中 做 得 更 好 ; 

(2) 帮助 人 们 意识 到 当前 使 用 的 服务 并 终止 先前 的 版 本 ; 

(3) 建立 与 转换 相关 的 、 可 承受 的 风险 与 信心 ， 例 如 基于 测试 结果 与 其 他 保障 结果 正 
确 的 量度 、 理 解 与 行动 。 

可 以 说 , 知识 管理 在 IT 服务 生命 周期 中 具有 非常 重要 的 作用 , 建议 组 织 构建 一 套 单独 
的 知识 管理 系统 ， 利 用 知识 手段 更 好 地 支持 IT 服务 的 管理 。 

(2) 支持 服务 转换 的 过 程 

支持 服务 转换 的 过 程 包括 : 转换 规划 与 支持 、 发 布 与 部 署 管理 、 服 务 验证 与 测试 、 
评估 。 

转换 规划 与 支持 的 目标 是 协调 足够 的 能 力 与 资源 ， 以 便 能 够 以 可 预测 的 成 本 、 质 量 与 
时 间 ， 将 新 的 或 者 变更 的 服务 变换 为 生产 状态 。 通 过 规划 与 协调 各 种 资源 ， 保 证 服务 战略 
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的 需求 、 服 务 设计 的 编码 成 果 能 够 在 服务 运营 中 得 以 有 效 地 实现 。 
转换 规划 与 支持 的 范围 包括 : 将 设计 与 运营 需求 纳入 转换 计划 ， 管 理 并 运营 转换 规划 
及 支撑 活动 ， 管 理 服务 转换 的 进度 、 变 化 、 问 题 、 风 险 与 偏差 ， 所 有 服务 转换 、 发 布 与 部 
署 计划 的 质量 回顾 ， 服 务 转换 过 程 、 支 撑 系 统 及 工具 的 管理 与 运营 ， 与 客户 、 用 户 及 利益 
相关 者 的 沟通 、 监 视 并 改进 服务 转换 的 绩效 。 
发 布 与 部 署 管 理 的 目标 是 建立 、 测 试 与 交付 在 服务 设计 阶段 指定 的 服务 ， 因 此 可 以 满 
足 股东 的 需求 并 提供 预期 的 目标 。 进 行 软件 、 硬 件 的 规划 、 设 计 、 建 设 、 配 置 和 测试 ， 为 
生产 环境 创建 一 系列 发 布 组 件 。 按 发 布 规模 ， 将 发 布 分 为 紧急 发 布 、 小 规模 发 布 、 大 规模 
发 布 ， 按 发 布 种 类 ， 将 发 布 分 为 全 发 布 、Delta 发 布 〈 仅 少量 变更 ) 和 包 发 布 。 
服务 验证 与 测试 过 程 的 目的 包括 : 
(1) 计划 并 实施 结构 化 的 验证 与 测试 过 程 ， 保 证 为 新 的 或 者 变更 的 服务 满足 客户 的 业 
务 及 利益 相关 者 的 需求 提供 客观 证 据 ， 包 括 一 致 的 服务 水 平 ; 
(2) 对 服务 组 件 构 成 、 服 务 结果 以 及 该 版 本 交付 的 服务 能 力 提供 质量 保证 ; 
(3) 识别 、 评 估 与 表达 整个 服务 转换 中 的 问题 、 错 误 与 风险 。 
评估 的 目标 是 正确 设置 利益 相关 者 的 期 望 ， 并 为 变更 管理 提供 有 效 的 、 准 确 的 信息 ， 
以 便 确 信 影 响 服务 能 力 与 引入 风险 的 变更 已 经 完成 了 转换 检查 。 所 有 服务 变更 的 真实 绩效 
是 服务 提供 商 的 重要 信息 源 ， 客 观 的 评估 能 够 保证 期 望 值 是 现实 的 并 能 够 识别 出 绩效 无 法 
满足 期 望 值 的 诸多 原因 。 


4. 服务 运营 阶段 


服务 运营 提供 了 对 IT 的 日 常 运营 进行 管理 的 过 程 。 

服务 运营 的 主要 目的 是 通过 一 系列 日 常 活动 和 过 程 的 协调 执行 ， 为 客户 和 用 户 提供 可 
管理 的 、 达 到 既定 的 服务 水 平 协议 的 服务 。 同 时 ， 服 务 运营 也 需要 对 服务 提供 支持 并 对 过 
程 中 所 必需 的 技术 进行 管理 。 

服务 运营 分 为 服务 运营 过 程 〈Process) 和 服务 运营 职能 (Function) 两 部 分 。 服 务 运 
营 过 程 包括 事件 管理 、 事 故 管理 、 问 题 管理 、 请 求实 现 、 访 问 管理 ;服务 运营 职能 包括 服 
务 台 、 技 术 管 理 、IT 运 维 管理 、 应 用 管理 。 

1) 服务 运营 过 程 

(1) 事件 (Event) 管理 过 程 。 


事件 是 任何 可 察觉 和 可 识别 的 、 对 IT 基础 设施 管理 或 者 IT 服务 造成 影响 和 背离 的 重 
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要 现象 。 事件 是 典型 的 通知 ， 由 IT 服务、 配置 项 或 者 监控 工具 创建 。 
事件 管理 过 程 的 目标 : 确保 正常 运营 而 进行 的 对 IT 基础 设施 中 发 生 的 所 有 事件 进行 监 
控 的 过 程 ， 事 件 管理 也 负责 对 例外 情况 进行 侦 测 并 进行 必要 的 升级 。 有 效 的 服务 运营 需要 
对 IT 设施 运行 状态 的 及 时 掌控 和 任何 对 服务 偏 移 的 识别 ， 这 依赖 于 有 效 的 监控 管理 系统 。 
事件 管理 过 程 用 于 需要 被 控制 和 可 自动 化 的 服务 管理 的 各 个 方面 。 
事件 管理 过 程 的 主要 活动 为 : 事件 发 生 后 ， 监 控 系 统 产 生 事件 通知 后 ， 其 检查 、 发 现 、 
转换 并 理解 事件 通知 ,事件 过 滤 过 程 进行 第 一 次 关联 性 分 析 并 过 滤 掉 不 需要 处 理 的 事件 ( 比 
如 说 排 重 )， 之 后 进行 事件 的 重要 性 分 析 。 
事件 分 为 三 类 : 第 一 类 是 信息 类 ， 不 需要 处 理 ， 只 需要 记录 。 第 二 类 是 告警 类 ， 提 示 
服务 或 设备 运行 状态 接近 临界 点 。 第 三 类 是 故障 类 ， 显 示 服务 或 设备 运行 失败 或 异常 ， 需 
要 启动 事故 管理 过 程 、 问 题 管理 过 程 或 变更 管理 过 程 。 对 于 告警 类 事件 需要 进一步 的 关联 
性 分 析 ， 并 触发 相应 的 反应 ， 反 应 可 以 是 记录 事件 、 自 动 反 应 、 告 警 并 人 为 干预 或 触发 事 
故 管理 、 问 题 管理 、 变 更 管理 过 程 。 事 件 处 理 的 行动 完成 之 后 要 进行 效果 评估 ， 如 果 处 理 
结果 有 效 则 关闭 事件 。 
(2) 事故 〈Incident) 管理 过 程 。 
事故 是 指 对 一 项 IT 服务 或 一 项 IT 服务 质量 减少 的 非 计 划 中 断 ， 事 故 比 事件 要 严重 
得 多 。 
事故 管理 过 程 的 主要 目标 是 根据 服务 水 平 协议 的 要 求 ， 在 尽 可 能 小 地 影响 客户 和 用 户 
业务 的 情况 下 尽快 将 服务 恢复 到 “正常 状态 ”。 
事故 管理 过 程 包括 对 服务 引起 中 断 或 可 能 中 断 的 事件 的 管理 ， 包 括 了 用 户 通过 服务 台 
或 通过 从 事件 监控 工具 直接 提交 的 事故 。 事 故 由 技术 员 报告 和 记录 ， 但 并 不 是 所 有 的 事件 
都 是 事故 ， 许 多 的 事件 并 不 与 中 断 相 关 ， 而 仅 是 正常 的 运营 指标 或 一 些 简单 的 信息 。 
(3) 问题 (Problem) 管理 过 程 。 
问题 是 一 个 或 多 个 不 知 原因 的 事件 。 
问题 管理 过 程 的 主要 目标 是 预防 问题 和 事故 的 再 次 发 生 ， 并 将 未 能 解决 的 事故 的 影响 
降低 到 小 。 与 事故 管理 强调 事故 恢复 的 速度 不 同 , 问题 管理 强调 的 是 找 出 事故 产生 的 根源 ， 
从 而 制定 恰当 的 解决 方案 或 制定 防止 其 再 次 发 生 的 预防 措施 。 
问题 管理 过 程 包括 了 诊断 事故 根本 原因 和 确定 问题 解决 方案 所 需要 的 活动 ， 通 过 合适 
的 控制 过 程 ,尤其 是 变更 管理 和 发 布 管理 , 确保 方案 的 实施 。 问 题 管理 还 将 维护 有 关 问 题 、 
应 急 方案 和 解决 方案 的 信息 ， 以 使 组 织 能 够 减少 事故 的 数量 和 影响 。 就 此 而 言 ， 问 题 管理 
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与 知识 管理 ， 以 及 诸如 经 验 数 据 库 等 工具 有 着 紧密 联系 。 

问题 管理 过 程 包括 被 动 管理 和 主动 管理 两 种 类 型 。 被 动 问题 管理 一 般 作 为 服务 运营 的 
一 部 分 来 执行 ， 主 动 问题 管理 是 由 服务 运营 发 起 的 ， 但 通常 是 由 服务 改进 驱动 的 。 

(4) 请 求实 现 (Request Fulfilment) 过 程 。 

请 求实 现 过 程 主要 针对 “服务 请 求 ” 类 事件 ， 指 的 是 IT 部 门 向 用 户 提供 的 一 系列 不 同 
种 类 的 一 般 需 求 ， 这 些 请 求 通常 可 以 分 为 两 类 : 一 类 是 低 风 险 、 经 常 发 生 且 成 本 低 的 微小 
变更 ， 比 如 重 置 口令 、 对 某 个 特殊 的 主机 进行 额外 软件 安装 的 请 求 等 ， 另 一 类 为 信息 咨询 
请 求 ， 由 于 这 些 请 求 是 经 常 发 生 、 低 风险 的 ， 因 而 需要 采取 一 个 单独 的 过 程 来 进行 管理 ， 
而 不 是 混杂 于 正常 的 事件 和 变更 管理 过 程 ， 变 成 一 种 累 资 和 障碍 。 

请 求实 现 过 程 的 主要 目标 为 : 

@ 对 于 某 些 预 定义 的 申请 和 需求 ， 为 用 户 提供 一 个 渠道 来 获得 这 些 标 准 服务 ; 

@ 为 客户 和 用 户 提供 服务 请 求 管理 过 程 的 服务 和 程序 信息 ; 

@ 获得 和 交付 请 求 的 标准 服务 组 件 ; 

@ 协助 处 理 一 般 信息 、 抱 怨 或 者 投诉 。 

(5) 访问 (Access) 管理 过 程 。 

访问 管理 过 程 是 为 合适 的 用 户 合理 地 使 用 服务 进行 授权 ， 同 时 限制 未 授权 用 户 的 访 
问 。 访 问 管理 也 被 称 为 权限 管理 或 者 身份 管理 。 

访问 管理 过 程 为 用 户 能 够 使 用 一 项 或 一 组 服务 进行 授权 ， 因 而 它 是 对 安全 和 可 用 性 管 
理 过 程 所 定义 的 策略 的 执行 。 

2) 服务 运营 职能 

(1) 服务 台 (Service Desk) 职能 。 

只 有 服务 过 程 并 不 能 产生 有 效 的 服务 运营 , 还 需要 稳固 的 开 基础 设施 和 适当 能 力 的 人 
员 。 为 了 实现 这 一 目标 ,， 服务 运营 依赖 于 熟练 的 几 组 服务 支持 人 员 ， 使 用 不 同 的 管理 过 程 ， 
充分 发 挥 IT 基础 设施 的 能 力 来 满足 业务 需求 。 

服务 台 是 联系 用 户 的 主要 接触 点 ， 服 务 台 提 供 了 用 户 与 IT 服务 部 门 之 间 的 联系 窗口 。 
当 有 服务 中 断 、 服 务 请 求 ， 甚 至 某 些 类 别 的 变更 请 求 时 ， 服 务 台 将 为 用 户 提供 统一 的 沟通 
中 心 并 完成 各 个 I 组 织 和 过 程 的 协调 。 

(2) 技术 管理 职能 。 

技术 管理 提供 所 需要 的 详细 的 技术 技能 和 资源 来 支持 IT 基础 设施 的 持续 运营 。 技 术 管 
理 在 IT 服务 的 设计 、 测 试 、 发 布 和 改进 中 也 起 着 重要 的 作用 。 在 小 的 组 织 里 ,技术 管理 职 
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能 可 能 由 单一 部 门 来 管理 ， 但 更 大 的 组 织 通常 分 为 许多 专业 技术 部 门 。 

技术 管理 职能 可 以 分 为 服务 器 相关 、 存 储 相关 、 容 灾 相 关 、 网 络 相关 、 安 全 相关 、 计 
费 相 关 等 ， 解 决 各 种 技术 问题 同样 需要 知识 库 的 支持 。 

(3) IT 运营 管理 职能 。 

IT 运营 管理 是 根据 服务 设计 过 程 中 定义 的 性 能 标准 ， 执 行 被 管 IT 基础 设施 所 需 的 日 
常 运营 活动 。 在 一 些 组 织 中 这 一 职能 由 一 个 部 门 来 统一 管理 ， 而 在 某 些 组 织 中 则 是 一 部 分 
活动 和 人 员 集 中 化 管理 ， 其 余部 分 由 各 个 专业 部 门 提供 。 

IT 运营 管理 分 为 两 个 专门 的 职能 。 一 个 是 IT 运营 的 控制 ， 一 般 是 由 运营 团队 确保 日 
常 业务 工作 的 开展 。 另 一 个 是 机 房 环 境 管理 ， 负 责 数据 中 心 物 理 环境 的 管理 。 

(4) 应 用 管理 职能 。 

应 用 管理 负责 管理 应 用 程序 的 整个 生命 周期 。 应 用 程序 管理 职能 支持 和 维护 应 用 程序 
的 运行 并 在 应 用 的 设计 、 测 试 和 改进 中 也 起 着 重要 的 作用 ， 应 用 管理 通常 根据 组 织 的 应 用 
组 合成 若干 部 门 ， 从 而 可 以 提供 更 专业 化 、 更 集中 的 技术 支持 。 

应 用 生命 周期 包括 需求 、 设 计 、 构 建 、 部 署 、 运 行 、 优 化 几 个 阶段 。 


5. 持续 服务 改进 阶段 


服务 改进 简称 为 CSI (Continuous Service Improvement)， 其 主要 目的 是 对 支持 业务 过 
程 的 IT 服务 进行 识别 与 改进 ， 持 续 地 拉 近 IT 服务 与 变化 的 业务 需求 之 间 的 距离 。 
IT 服务 持续 改进 需要 遵循 科学 的 方法 ， 其 改进 模型 如 图 7-3-7 所 示 。 


我 们 现在 在 


我 们 到 那里 


图 7-3-7 服务 持续 改进 模型 
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IT 服务 持续 改进 还 需要 遵循 科学 方法 与 步骤 ， 逐 步 实现 对 IT 服务 的 改进 。 实 现 IT 服 
务 持续 改进 可 以 参考 七 步 法 ， 如 图 7-3-8 所 示 。 


2 1. 定 义 评测 对 象 “YY 
2. 定 义 评测 能 力 


7. 实 施 纠正 行动 


6. 展现 并 使 用 信 3. 数 据 采 集 
息 ， 评 估 总 结 ， 谁 ? 如 何 ? 何 时 ? 
行动 计划 等 数据 完整 性 ? 


\ 


知识 管理 在 CSI 中 起 到 重要 作用 。 在 服务 生命 周期 的 每 个 阶段 ， 数 据 应 当 被 捕获 并 形 
成 知识 ， 由 此 理解 实际 发 生 了 什么 ， 通 过 长 期 的 积累 沉淀 ， 最 终 形成 智慧 ， 并 指导 组 织 对 
IT 服务 的 管理 。 


4. 数 据 处 理 
频率 ? 格式 ? 系 
统 ? 准确 性 ? 


图 7-3-8 IT 服务 持续 改进 七 步 法 


7.4 主要 内 容 回 顾 


企业 架构 是 企业 发 展 战略 和 企业 日 常 运营 之 间 的 桥梁 和 纽带 ， 如 果 企 业 不 进行 架构 设 
计 , 则 难以 将 企业 发 展 战略 有 效 地 贯彻 到 日 常 运营 /IT 运 维 或 者 之 中 , 难以 解决 复杂 的 企业 
管理 问题 。 

Zachman 企业 架构 框架 是 企业 架构 领域 的 典型 代表 ， 通 过 自 顶 而 下 的 5 个 层次 (业务 
范围 、 业 务 模型 、 系 统 模型 、 技 术 模 型 、 详 细 描述 ) 和 从 左 到 右 的 6 个 W (What、How、 
Where、When、Who、Why)， 清 晰 地 定义 了 IT 系统 。 
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除了 Zachman 企业 架构 模型 ， 开 放 组 架构 框架 (TOGAF)、 集 成 式 架构 框架 (IAF)、 
美国 首席 信息 官 协会 (NASCIO) 也 是 企业 架构 领域 的 重要 框架 体系 ， 以 上 企业 架构 模 
型 虽然 在 设计 思路 上 与 Zachman 模型 有 一 些 区 别 ， 但 是 实现 原理 和 方法 上 基本 是 相 
似 的 。 

为 保证 本 书 思路 清晰 、 结 构 严 谨 ， 需 要 以 经 过 长 期 实践 检验 的 方法 论 作为 指导 。 
Frameworx 和 ITIL 分 别 为 电信 行业 和 IT 领域 的 国际 最 佳 实践 ， 可 以 为 本 书 的 编写 提供 
参考 。 

Frameworx 是 四 位 一 体 的 框架 体系 ，Frameworx 框架 体系 分 为 : 业务 过 程 框架 、 信 息 
框架 、 应 用 框架 、 集 成 框架 ， 共 四 个 维度 。 其 中 ， 集 成 框架 负责 将 业务 过 程 框 架 、 信 息 框 
架 、 应 用 框架 连接 起 来 。 

大 数据 的 核心 目标 是 要 解决 组 织 的 业务 问题 ， 因 此 大 数据 运营 的 本 质 是 将 大 数据 服务 
植 入 业务 活动 的 决策 环节 中 ， 而 Frameworx 的 业务 过 程 框架 和 信息 框架 恰恰 是 从 动态 和 静 
态 两 个 角度 ， 实 现 了 对 企业 业务 活动 的 刻画 ， 大 数据 服务 可 以 借助 这 两 个 框架 体系 ， 实 现 
企业 的 大 数据 服务 在 业务 层面 的 落地 。 

按照 Frameworx 业务 过 程 框架 的 分 域 管理 方法 ， 大 数据 服务 可 以 植 入 企业 的 战略 、 战 
术 、 执 行 三 个 层面 的 业务 活动 之 中 。 

在 企业 发 展 战略 层面 ， 大 数据 服务 可 以 辅助 企业 完成 环境 分 析 ， 比 如 政治 与 法 律 环境 
分 析 、 经 济 环境 分 析 、 社 会 与 文化 环境 分 析 、 技 术 发 展 趋势 分 析 、 竞 争 对 手 分 析 、 企 业内 
部 资源 分 析 等 ， 辅 助 企业 做 出 发 展 战略 决策 。 

在 企业 的 战术 管理 层面 ， 大 数据 服务 可 以 帮助 企业 中 层 管理 人 员 更 好 地 完成 生产 与 运 
营 决策 ， 比 如 面向 市 场 部 门 的 广告 投放 效果 分 析 、 面 向 销售 部 门 的 渠道 投资 效益 分 析 、 面 
向 客户 服务 部 门 的 服务 效率 分 析 、 面 向 人 力 资源 部 门 的 人 才 引 进 效 果 分 析 ， 等 等 。 

在 企业 的 落地 执行 层面 ， 大 数据 服务 可 以 帮助 企业 基层 人 员 完 成 客户 信用 评估 、 客 户 
偏好 分 析 、 热 点 分 析 等 任务 ， 从 而 提高 企业 的 整体 运营 效率 ， 降 低 了 运营 风险 ， 提 升 了 客 
户 感知 ， 间 接地 促进 了 企业 增收 。 

大 数据 服务 通常 没有 明确 的 需求 ，Frameworx 框架 体系 中 的 业务 过 程 框 架 和 信息 框架 
可 以 作为 大 数据 服务 需求 分 析 的 起 点 , 实现 大 数据 与 企业 架构 的 “联姻 ”同时 也 解决 了 企 
业 对 大 数据 服务 的 管理 问题 。 

虽然 解决 了 企业 大 数据 服务 与 业务 活动 的 结合 问题 ， 但 是 毕竟 大 数据 服务 是 一 种 IT 
服务 ， 因 此 只 是 到 业务 活动 与 大 数据 服务 “联姻 ”这 个 层面 是 不 够 的 ， 还 需要 将 大 数据 服 
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ITILITSM 作为 以 IT 服务 为 管理 对 象 的 国际 最 佳 实践 ， 以 服务 战略 为 指导 ， 从 服务 设 
计 、 服 务 转换 、 服 务 运营 到 服务 持续 优化 ， 闭 环 式 的 IT 服务 管理 体系 ， 体 现 了 软件 工程 中 
瀑布 式 与 循环 欠 代 的 设计 思想 ， 可 以 作为 大 数据 服务 落地 实施 的 方法 论 指导 。 

大 数据 服务 与 满足 企业 日 常生 产 经 营 的 操作 型 应 用 不 同 ， 大 数据 服务 属于 分 析 型 应 
用 ， 大 数据 服务 的 主要 用 途 是 为 企业 提供 不 同 层面 的 决策 支持 ， 因 此 ， 大 数据 服务 在 服务 
战略 、 服 务 设计 、 服 务 转换 、 服 务 运 营 以 及 服务 持续 优化 的 各 个 环节 、 不 同 阶段 的 关注 点 
是 不 同 的 ， 需 要 企业 根据 大 数据 服务 的 特点 ， 参 考 ITILIITSM 的 管理 模式 ， 进 行 重新 调整 
和 适 配 。 
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科学 技术 是 第 一 生产 力 ， 尤 其 是 近年 来 ， 随 着 信息 技术 和 互联 网 的 飞速 发 展 ， 科 学 技 
术 大 大 地 改变 了 人 类 生产 和 生活 的 方式 。 

如 果 说 信息 技术 提高 了 人 类 生产 和 生活 的 效率 ， 那 么 互联 网 则 将 人 类 生产 和 生活 从 实 
体 空间 拓展 到 了 虚拟 空间 。 在 互联 网 虚拟 空间 里 ， 人 们 借助 互联 网 来 满足 信息 获取 、 知 识 
分 享 、 沟 通 、 交 往 、 购 物 等 需求 。 人 们 在 浩瀚 无 边 的 互联 网 里 邀 游 的 时 候 ， 互 联网 则 不 断 
编织 着 越 来 越 丰富 的 信息 ， 并 记录 下 了 越 来 越 多 人 类 的 行为 ， 网 页 浏览 、 内 容 搜索 、 观 点 
评论 、 商 品 交 易 、 咨 询 建议 ， 等 等 。 

为 了 系统 化 地 掌握 大 数据 技术 并 理解 大 数据 技术 与 企业 运营 的 关系 ， 本 章 以 大 数据 处 
理 流程 为 主线 ， 将 大 数据 技术 分 为 3 类 ， 即 大 数据 采集 与 存储 相关 技术 、 大 数据 建 模 与 分 
析 相 关 技 术 、 大 数据 展示 与 开放 相关 技术 。 

大 数据 采集 与 存储 相关 技术 主要 分 为 分 布 式 数 据 库 技术 、 关 系 型 数据 库 技术 两 小 类 ; 
大 数据 建 模 与 分 析 相 关 技 术 主 要 分 为 分 布 式 计算 技术 和 关系 型 数据 计算 技术 (SQL) 两 小 
类 ; 大 数据 展示 与 分 享 相关 技术 分 为 4 类 , 即 Web 展示 和 开放 技术 、 移动 客户 端 展 示 技术 、 
GIS 展示 技术 、 统 计 报 表 展 示 技 术 。 

新 的 技术 和 工具 不 断 出 现 ， 层 出 不 穷 ， 作 为 信息 技术 和 互联 网 行业 的 从 业 人 员 ， 既 需 
要 拥抱 变化 ， 又 需要 掌握 技术 和 工具 背后 的 原理 和 方法 ， 提 高 对 大 数据 技术 的 理解 能 力 ， 
以 不 变 应 万 变 。 

本 章 在 讲述 各 种 技术 特点 的 同时 ， 希 望 为 读者 构建 一 个 大 数据 技术 体系 框架 ， 掌 握 大 
数据 技术 的 适用 范围 以 及 企业 大 数据 运营 对 于 大 数据 技术 的 要 求 ， 将 大 数据 技术 相关 理论 
与 实际 有 机 地 结合 起 来 。 

本 章 内 容 思维 导 图 如 下 : 
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第 1 节 


开源 本 加 Hadoop | 攻 EHDENEe MephegioeWSIonm 针 回放 的 开关 全 家 条 入 


从 主机 与 磁盘 分 离 模式 转变 为 计算 与 存储 一 体 化 模式 
分 布 式 集群 存储 技术 。 t 存 取 单位 从 以 字 节 为 单位 转变 为 以 大 数据 块 为 单位 


第 2 节 
大 数据 存储 技术 


数据 存 取 模 式 从 以 行为 单位 的 存 取 模式 变 为 按 列 存 取 模 式 
按时 间 、 地 区 等 维度 进行 分 区 以 及 构建 索引 是 提高 存 取 效率 的 重要 手段 
关闭 日 志 记录 开关 等 可 以 提高 数据 操作 效率 ， 多 用 插入 操作 少 用 更 新 操作 


MapReduce 是 基于 分 布 式 文件 系统 的 主流 统计 计算 模式 
0 Map 负 责 提取 待 统计 的 列 数据 ,Reduce 则 负责 完成 聚合 运算 ， 即 先 微分 后 积分 
提高 统计 效率 的 前 提 条 件 是 数据 已 按 计划 分 区 并 且 有 序 存放 
第 3 节 _| 关系 型 数据 库 分 析 技 术 。 | 从 长 远 规划 数据 仓库 ， 需 要 要 尽量 存放 细 粒 度 原始 数据 ， 提 高 分 析 的 灵活 性 
大 数据 分 析 技 术 多 维 模型 适用 于 面向 不 同 主题 的 个 性 化 分 析 ,可 以 提高 分 析 效率 和 易 用 性 
不 同 于 离线 计算 的 批量 处 理 模式 ， 实 时 流 式 计算 采用 单个 数据 的 实时 累加 
实时 流 式 计算 采用 将 数据 主动 “ 喷 酒 ( spout ) 到 ”计算 “节点 的 处 理 模式 


关系 型 数据 库存 储 技术 三 


大 数据 实时 流 式 分 析 技术 三 


数据 统计 分 析 技术 “。” R 语 言 擂 长 数据 建 模 、 统 计 与 可 视 化 ， 可 以 与 大 数据 管理 工具 结合 起 来 使 用 


JEE 是 支持 Web 展 示 的 优秀 架构 ， 轻 量 级 框架 Struts/Spring/Hibernate 已 广泛 应 用 

采用 Flash 控 件 可 以 快速 实现 图 形 化 统计 功能 ， 例 如 FusionCharts、eCharts 等 

基于 地 理 信息 的 空间 展示 更 加 形象 直观 ， 可 用 于 企业 营销 渠道 、 通 信 网 络 等 方面 的 分 析 

GIS 展 示 技术 “ 矢 若 法 与 衫 格 法 分 别 适合 对 离散 数据 和 连续 数据 建 模 ， 可 根据 建 模 对 象 的 特点 选用 
基于 位 置 的 服务 是 G15 与 定位 技术 相 结 合 的 产物 ， 可 以 用 于 推送 商品 促销 信息 、 导 航 等 

安 卓 系统 赢 在 开源 开放 ，IOS 系 统 重 在 用 户 体验 ， 技 术 路 线 与 市 场 定位 相 匹配 

安 卓 SDK 提 供 丰 言 的 支持 库 和 良好 的 应 用 框架 ， 具 有 强大 的 大 数据 服务 展示 能 力 


Web 展 示 技 术 三 
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移动 客户 端 展示 技术 
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8.1 开源 框架 Hadoop 


是 一 个 基于 分 布 式 文件 系统 HDFS 的 框架 体系 ， 包 括 离线 计算 引擎 MapReduce、 实 时 计算 引擎 
Storm、 内 存 计算 引擎 Spark 等 。 


互联 网 每 时 每 刻 都 在 源源 不 断 地 产生 新 的 信息 和 数据 ， 而 这 些 信息 和 数据 大 多 以 半 结 
构 化 和 非 结 构 化 形式 存在 ， 比 如 网 页 、 邮 件 等 半 结 构 化 数据 以 及 图 片 、 语 音 、 视 频 等 非 结 
构 化 数据 。 这 些 不 同 媒体 形式 的 、 海 量 的 数据 难以 用 传统 的 关系 型 数据 库 来 承载 ， 需 要 新 
的 技术 、 工 具 和 方法 。 

为 了 解决 这 一 问题 ， 谷 歌 、 雅 虎 、 亚 马 逊 、 阿 里 巴巴 等 领先 的 互联 网 公司 提出 了 许多 
大 规模 分 布 式 计 算 和 存储 技术 ， 这 里 面 以 谷歌 公司 发 明 的 GFS、MapReduce、BigTable 技 
术 最 为 典型 。 

谷歌 文件 系统 (Google File System，GFS) 是 一 种 可 扩展 的 分 布 式 文件 系统 ， 其 主要 
特点 是 存储 文件 容量 大 、 便 于 扩展 并 且 具 有 良好 的 容错 性 ，BigTable 构建 在 GFS 之 上 ,是 

-个 压缩 的 、 高 性 能 的 、 私 有 的 数据 存储 系统 ，MapReduce 则 相当 于 GFS 的 引擎 ， 将 海量 
的 、 不 同 媒 介 形式 的 数据 进行 切 分 (Map)， 以 大 数据 块 等 形式 存 入 数据 库 集群 之 中 ， 并 根 
据 统计 需要 对 不 同 节点 上 的 数据 进行 聚合 (Reduce) 处 理 。 

受 GFS 等 技术 的 启发 , 业界 产生 了 许多 类 似 的 大 规模 数据 存 取 技 术 和 工具 , 并 陆续 加 
入 开源 组 织 Apache〈 阿 帕 奇 ) 的 大 家 庭 ， 比 如 HDFS、Hadoop MapReduce、HBase、Pig、 
Hive、Sqoop、Storm、Spark 等 。HDFS 即 Hadoop File System，HDFS 的 实现 原理 与 GFS 
类 似 。Hadoop MapReduce 与 谷歌 的 MapReduce 类 似 。HBase 是 NoSQL 数据 库 ， 采 用 了 列 
式 数据 存 取 模式 ， 与 GFS 的 BigTable 类 似 ，Storm 和 Spark 则 解决 了 海量 数据 流 式 计算 的 
问题 。 

为 了 解决 大 数据 的 管理 问题 ， 出 现 了 多 种 技术 框架 ， 为 了 促进 软件 技术 的 发 展 ， 出 现 
了 许多 开源 的 技术 框架 ， 最 为 典型 的 就 是 阿 帕 奇 的 Hadoop 开源 项 目 。 

阿 帕 奇 Hadoop 开源 项 目 非 常 多 ， 一 个 简单 的 开源 项 目 框架 体系 如 图 8-1-1 所 示 。 

从 图 8-1-1 可 以 看 出 ， 大 数据 开源 框架 可 以 划分 为 3 个 域 : 非 实 时 离线 计算 域 、 实 时 
流 式 计算 域 、 管 理 域 。 
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图 8-1-1 一 个 简单 的 Hadoop 开源 框架 体系 


1. 分 布 式 文件 系统 


HDFS， 即 HaDoop File System， 是 一 款 典 型 的 开源 文件 系统 ，HDFS 位 于 非 实时 离线 
计算 的 底层 ， 是 分 布 式 数据 库 的 基础 。 

HDFS 与 Windows 操作 系统 中 的 FAT32、NTFS，Linux 操作 系统 的 EXT3、EXT4 等 
文件 系统 相 比 ， 是 一 种 面向 大 文件 的 文件 系统 。FAT32、NTFS 等 文件 系统 的 数据 存 取 单 位 
为 字 节 ， 而 HDFS 的 数据 存 取 单位 通常 是 一 个 数据 块 (典型 大 小 为 64MB)。HDFS 采用 以 
数据 块 为 存 取 单 位 的 方式 ， 可 以 大 大 提高 数据 的 存储 容量 和 存 取 效率 ， 特 别 适合 对 大 规模 
数据 的 离线 处 理 。 

在 文件 的 存 取 方法 方面 ，HDFS 采用 NameNode 存放 文件 位 置信 息 ，NameNode 类 似 
于 操作 系统 上 的 目录 和 文件 名 ， 操 作 系统 通过 目录 和 文件 名 就 可 以 定位 文件 所 在 的 位 置 。 
HDFS 采用 DataNode 存放 文件 数据 。 当 客户 端 访 问 文件 时 ， 首 先 通 过 NameNode 来 获取 文 
件 所 在 位 置 ， 然 后 根据 文件 所 在 位 置 定位 到 文件 所 在 的 数据 节点 (DataNode)。NameNode 
方式 与 Linux 的 文件 管理 方式 类 似 ，Linux 借助 虚拟 文件 系统 (Virtual File System，VFS) 
屏蔽 了 文件 操作 细节 ， 用 户 在 文件 操作 时 ， 无 须 了 解 被 操作 文件 是 一 台 打 印 机 还 是 一 个 数 
据 文 件 ， 也 无 须 了 解 文件 实际 的 部 署 位 置 。 

当然 , 为 了 保证 数据 的 可 靠 性 ，Hadoop 会 在 集群 中 设置 多 个 副本 ， 这 样 当主 节点 或 者 
数据 节点 出 现 故障 后 ， 就 可 以 重启 任务 ， 并 将 数据 访问 路 径 切 换 到 备用 节点 ， 保 证 数据 不 
会 丢失 。 

当 HDFS 中 存 入 大 量 的 数据 后 , 需要 借助 MapReduce 完成 分 析 工 作 。Map 就 是 按照 统 
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计 分 析 要 求 ， 提 取 数 据 文件 中 的 统计 维度 列 和 统计 值 列 数据 ， 由 于 原始 数据 中 统计 维度 列 
和 统计 值 列 是 映射 的 关系 ， 因 此 称 为 Map，Map 就 是 “映射 ”的 意思 。 执 行 Map 操作 后 ， 
需要 从 统计 维度 列 角度 对 统计 值 列 数据 进行 排序 (Sort)， 最 后 再 通过 Reduce (聚合 ) 完成 
统计 维度 数据 项 的 计算 工作 ， 计 算 动 作 可 以 是 次 数 〈count)、 均 值 (average )、 求 和 
(sum) 等 。 


2. 数据 交换 工具 Sqoop 


Sqoop 是 一 款 位 于 Hadoop 和 传统 关系 型 数据 库 之 间 的 数据 交换 工具 ,通过 Sqoop, 可 
以 实现 Hadoop 与 Oracle、MySQL 等 关系 型 数据 库 之 间 数 据 的 导入 和 导出 。 负 责 数 据 获 取 
的 开源 框架 和 工具 包括 Pig、Hive 等 。 

3， 分 布 式 列 式 数据 库 HBase 

HBase 架构 在 Hadoop 之 上 ， 负 责 大 数据 的 存储 。 不 同 于 传统 关系 型 数据 库 ，HBase 
采用 rowkey 的 方式 存 取 数 据 ， 数 据 定义 和 操作 语言 采用 NoSQL (Not only SQL)， 因 此 又 
称 为 NoSQL 数据 库 。NoSQL 数据 库 还 包括 BigTable、MongoDB 等 。 

4. 大 数据 操作 工具 Pig 

Pig 是 一 种 针对 Hadoop 数据 库 进行 操作 的 工具 ， 其 实现 语言 为 Pig Latin， 如 果 没 有 
Pig， 用 户 需要 编写 大 量 的 Java 代码 ， 有 了 Pig 工具 ， 用 户 可 以 像 使 用 SQL 那样 存 取 数据 。 
Pig 主要 面向 大 数据 应 用 开发 者 。 

5. 大 数据 操作 工具 Hive 


Hive 是 一 种 比 Pig 更 方便 的 大 数据 操作 工具 , 由 于 其 实现 方式 与 SQL 非常 接近 , 因此 
Hive 的 实现 语言 称 为 HiveSQL。 

6. Storm 

Hadoop 主要 适用 于 大 批量 离线 数据 的 存 取 , 数据 处 理 的 实时 性 差 , 而 像 商品 实时 推荐 、 
实时 风险 控制 、 实 时 统计 等 应 用 对 于 系统 的 实时 性 要 求 非常 高 ，Storm 框架 的 出 现 解决 了 
这 一 问题 。 如 果 说 MapReduce 模型 是 “计算 ” 找 “ 数 据 ”， 那么 Storm 的 Spout/Bolt 模型 
则 正好 相反 ， 它 采用 “数据 ” 找 “ 计 算 ” 的 方式 提高 了 数据 处 理 的 实时 性 ，Spout 就 像 一 
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个 水 龙头 ， 将 数据 喷射 到 不 同 的 数据 处 理 节点 〈Bolt)， 来 一 批 数据 就 处 理 一 次 ， 大 大 提高 
了 数据 统计 的 效率 。 


7. Spark 


Spark 由 Twitter 公司 开发 并 开源 ， 同 样 解决 了 海量 数据 流 式 分 析 的 问题 。Spark 在 实 
现 原理 上 与 Storm 不 同 ，Storm 是 将 “小 数据 块 ?实时 地 分 发 (Spout) 给 “计算 ”节点 ， 是 
“数据 ” 找 “ 计 算 ” 的 思路 ， 而 Spark 则 是 首先 将 数据 导入 Spark 集群 ， 然 后 再 通过 基于 内 
存 的 管理 方式 对 数据 进行 快速 扫描 ， 通 过 迭代 算法 实现 全 局 IO 操作 的 最 小 化 ， 达 到 提升 
整体 处 理性 能 的 目的 ， 这 与 Hadoop 从 “计算 ” 找 “ 数 据 ” 的 实现 思路 是 类 似 的 。 可 以 说 ， 
Spark 与 Storm 的 整体 实现 思路 基本 上 是 相反 的 。 

不 同 于 Spark，Spark Streaming 与 Storm 的 实现 思路 基本 一 致 。Spark Streaming 首先 对 
“小 数据 块 ”进行 批量 汇聚 ， 然 后 再 分 发 给 “计算 ”节点 。 

Spark 框架 支持 的 编程 语言 包括 Scala、Java 和 Python 。 


8. ZooKeeper 


ZooKeeper 负责 分 布 式 计算 环境 的 管理 ， 功 能 包括 配置 维护 、 名 字 服 务 、 分 布 式 同步 、 
组 服务 等 。 

从 以 上 分 布 式 数据 库 相 关 的 开源 技术 可 以 看 出 ， 开 源 工具 的 命名 都 非常 有 意思 ， 比 如 
Pig 是 猪 的 英文 ，Hive 是 蜜蜂 的 英文 ，ZooKeeper 则 是 动物 管理 员 ， 其 他 工具 的 名 称 则 是 
非常 形象 的 动作 ， 比 如 Sqoop 意 为 独 扑 ，Storm 为 风暴 ， 意 味 着 快速 ，Spark 为 火 ， 意 味 着 
朝气 和 力量 。 

除了 开源 框架 Hadoop 家 族 ， 要 完成 一 个 大 数据 项 目 ， 还 需要 项 目 管理 软件 、 代 码 管 
理 软件 等 作为 支持 。 

微软 的 Project 是 一 款 商 业 版 的 项 目 管理 软件 ，OpenProj 是 一 款 开源 的 项 目 管理 软件 ， 
可 以 跨 不 同 的 操作 系统 平台 ， 适 用 于 小 型 工程 项 目 。 

代码 管理 工具 包括 Git、SourceSafe、SVN 等 。Git 是 一 款 开 源 、 免 费 的 分 布 式 版 本 控 
制 系统 ， 可 以 敏捷 高 效 地 处 理 任何 规模 的 项 目 ， 可 以 在 开发 者 角色 中 定义 主要 开发 者 和 非 
主要 开发 者 ， 非 主要 开发 者 将 软件 补丁 发 送 给 主 开发 者 。 

SourceSafe 是 微软 公司 的 代码 管理 工具 ， 主 要 面向 微软 公司 的 开发 工具 ， 如 Visual 
Basic、Visual C++ 等 。SVN 是 Subversion 的 简称 ， 是 一 款 开 源 的 代码 管理 与 版 本 控制 系统 。 
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8.2 ”大 数据 存储 技术 


大 数据 借助 分 布 式 数据 库存 储 ， 通 过 软件 算法 保证 数据 可 靠 性 ， 分 布 式 / 列 式 数据 库 需 要 与 关系 
型 数据 结合 起 来 使 用 。 


互联 网 中 的 各 种 信息 系统 、 物 联网 中 的 各 种 传感器 产生 的 大 数据 首先 需要 存储 ， 数 据 
的 量 非常 大 ， 有 效 的 解决 方法 就 是 将 其 存放 到 一 个 可 以 动态 扩展 的 分 布 式 存储 系统 之 中 。 

分 布 式 存储 系统 需要 借助 分 布 式 数据 库 来 实现 ， 分 布 式 数据 库 重点 解决 大 文件 存储 、 
存储 设备 的 动态 扩展 、 数 据 存储 节点 的 容错 以 及 数据 的 快速 检索 问题 。 

分 布 式 数据 库 技术 分 为 商业 和 开源 两 类 ， 它 们 都 以 分 布 式 文件 系统 为 基础 。 开 源 分 布 
式 文 件 系统 以 谷歌 的 GFS、 阿 帕 奇 的 HDFS 最 为 典型 。 此 外 ，Pig、Hive、Sqoop 开源 工具 
和 框架 ， 可 以 实现 大 数据 方便 、 快 速 地 导入 、 导 出 与 查询 。 

分 布 式 数 据 库 技术 虽然 能 够 解决 大 数据 的 存储 管理 ， 但 并 不 意味 着 传统 关系 型 数据 库 
没有 了 存在 的 价值 。 分 布 式 数据 库 技术 难以 实现 灵活 、 快 速 、 复 杂 的 统计 分 析 功 能 ， 而 这 
恰恰 是 传统 关系 型 数据 库 所 擅长 的 ， 因 此 ， 需 要 将 这 两 种 数据 库 技术 结合 起 来 使 用 ， 解 决 
不 同 应 用 场景 下 的 问题 。 

关系 型 数据 库 包 括 Oracle、DB2、SQL Server、MySQL 等 ， 其 数据 定义 和 操作 语言 都 
是 基于 标准 SQL 之 上 的 扩展 , 比如 Oracle 公司 的 PL/SQL 就 是 一 款 非常 强大 的 数据 管理 语 
言 ， 此外， 分区、 索引 、 中 间 表 等 存储 管理 技术 和 方法 也 在 企业 数据 管理 中 起 到 关键 作用 ， 
对 于 提升 数据 的 获取 效率 起 到 非常 重要 的 作用 。 


8.2.1 分 布 式 集群 存储 技术 


俗话 说 “一 个 好 汉 三 个 帮 ， 一 个 篇 爷 三 个 桩 ”对 于 大 量 的 数据 存储 、 计 算 和 传输 需 
求 ， 需 要 借助 集群 方式 来 实现 。 

公司 组 织 就 是 集群 的 一 个 例子 。 公 司 的 全 部 工作 可 以 由 一 个 人 来 承担 ， 但 是 当 公司 业 
务 量 大 、 事 务 多 时 ， 就 需要 多 个 不 同 职能 的 部 门 共同 承担 。 比 如 公司 的 市 场 人 员 负 责 产品 
的 销售 ， 财 务 人 员 负 责 财务 核算 ， 人 力 资源 负责 人 员 招聘 、 合 同 管理 等 。 公 司 通过 专业 化 
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的 分 工 与 协作 ， 满 足 了 客户 需求 ， 也 提高 了 工作 的 效率 。 如 果 企业 中 有 人 离职 ， 企 业 也 不 
想 花 更 多 的 成 本 雇佣 更 多 的 员工 ， 通 常 的 做 法 是 让 两 个 人 互 备 ， 这 样 当 某 个 人 无 法 完成 工 
作 时 ， 另 外 一 个 人 可 以 代替 完成 工作 。 

IT 系统 的 集群 实现 原理 与 公司 的 管理 相似 。IT 服务 需要 借助 集群 方式 , 满足 大 规模 高 
并 发 的 数据 处 理 需 求 。 集 群 方式 可 以 发 挥 IT 资源 的 整体 优势 ， 通 过 集中 IT 资源 满足 用 户 
对 于 计算 、 存 储 以 及 传输 能 力 的 需求 。 

IT 系统 集群 的 实现 目标 主要 包括 5 个 方面 ， 即 可 靠 性 、 可 伸缩 性 、 可 用 性 、 高 性 能 以 
及 安全 性 。 采 用 集群 方式 , 不 会 因为 某 些 IT 设备 或 者 软件 出 现 故障 而 导致 IT 服务 不 可 用 
集群 中 任何 IT 设备 节点 都 可 能 是 主 节 点 和 备用 节点 ， 都 可 能 存储 其 他 节点 的 备份 数据 ， 从 
而 保障 IT 服务 的 可 靠 运转 。 

大 数据 的 特征 之 一 是 数据 规模 大 , 因此 要 求 IT 系统 能 够 具有 海量 数据 存储 能 力 , 同时 
数据 规模 大 也 意味 着 需要 IT 系统 提供 强大 的 数据 处 理 能 力 和 网 络 传输 能 力 , 而 集群 方式 则 
可 以 满足 大 数据 的 这 些 需 求 。 

分 布 式 集群 存储 技术 通常 采用 以 大 数据 块 为 单位 ， 将 数据 切割 存储 在 多 个 节点 中 ， 解 
决 大 规模 数据 存储 的 问题 。 为 了 保证 数据 的 可 靠 性 ， 通 常 需要 在 不 同 的 存储 节点 中 保存 多 
个 数据 副本 。 将 数据 存放 到 多 个 节点 最 大 的 问题 是 如 何 保障 数据 的 一 致 性 ， 即 单 次 数据 操 
作 要 求 要 么 成 功 提交 ‘COMMIT)， 要 么 失败 回 深 (ROLLBACK)， 不 能 有 中 间 状 态 。 

为 了 既 能 够 保证 对 海量 数据 的 存储 ， 又 能 够 保证 事务 的 一 臻 性， 通常 对 增加 、 删 除 、 
修改 、 查 询 操 作 进行 区 分 处 理 。 多 表 之 间 的 关联 操作 是 分 布 式 数据 库 设 计 的 难点 。 

“增加 ”操作 通常 可 以 采用 追加 (Append) 的 方式 操作 数据 ， 一 般 比 较 容易 保证 事务 
的 一 致 性 “删除 ”操作 可 以 采用 先 标 记 然 后 再 定期 批量 删除 的 方法 ,这样 既 能 够 保证 删除 
的 效率 ， 又 能 够 保证 及 时 释放 存储 空间 。 

“更 新 ”操作 最 为 复杂 ， 为 了 保证 事务 的 一 致 性 ， 通 常 需要 对 更 新 操作 先 做 “插入 ” 
再 做 “删除 ” 由 于 整个 数据 更 新 过 程 需要 记录 操作 日 志 ， 以 便 回 滚 或 者 提交 ， 因 此 “更 新 ” 
操作 会 消耗 大 量 的 存储 资源 ， 操 作 效率 低 并 且 容易 出 错 。 如 果 对 “更 新 ”操作 单独 识别 和 
处 理 ， 将 能 够 最 大 限度 地 保证 “更 新 ”操作 的 效率 和 成 功率 。 阿 里 巴巴 的 开源 数据 库 
OceanBase 就 是 就 是 采用 单独 部 署 数据 “更 新 ”服务 器 的 方式 ， 解 决 了 海量 的 商品 收藏 管 
理 问题 。 

“查询 ”操作 最 为 简单 ， 因 为 查询 操作 只 “ 读 ” 不 “ 写 ”， 无 须 记录 操作 状态 。 目 前 
Hadoop/HBase 类 似 的 各 种 列 式 数据 库 可 以 快速 装载 海量 数据 ， 并 且 可 以 线性 扩展 存储 容 
量 ， 实 现 数据 高 效率 的 查询 。 
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在 数据 库 前 面 增加 数据 路 由 层 是 解决 分 布 式 数据 库 的 一 种 有 效 方法 ， 数 据 路 由 层 根据 
客户 端 数据 SQL 请 求 ,查询 数据 库 集群 中 节点 的 状态 , 然后 将 数据 操作 请 求 转发 到 相应 的 
节点 ， 待 处 理 完毕 后 再 将 数据 处 理 结果 合并 起 来 ， 反 馈 给 客户 端 。 

在 分 布 式 数据 库 设计 时 ， 可 以 根据 应 用 的 特点 ， 采 用 分 别处 理 增加 、 删 除 、 修 改 、 碍 
询 操作 的 方式 进行 架构 设计 ， 既 要 保证 事务 操作 的 一 致 性 ， 又 要 满足 海量 数据 存 取 的 性 能 


8.2.2 ”关系 型 数据 库存 储 技术 


1. 关系 型 数据 库 的 产生 


在 没有 计算 机 之 前 , 人 们 通过 甲骨 、 纸 等 传统 媒介 来 记录 和 描述 人 们 对 于 世界 的 认识 ， 
自从 有 了 计算 机 ， 信 息 就 成 了 描述 和 记载 世界 的 新 的 媒介 方式 。 

信息 通常 以 文件 形式 存储 和 过 来 ， 但 这 种 方式 使 得 各 种 各 样 的 数据 变 得 非常 分 散 ， 难 
以 很 好 地 关联 起 来 ， 因此， 需要 将 信息 进行 归 类 整理 ， 以 结构 化 、 模 型 化 的 方式 进行 归 类 ， 
这 样 就 可 以 快速 地 实现 数据 的 存放 和 检索 。 

以 上 过 程 其 实 就 是 将 信息 转换 为 数据 的 过 程 ， 信 息 是 用 自然 语言 描述 的 、 零 散 的 、 宛 
余 的 ， 而 数据 则 是 计算 机 能 够 接受 的 、 严 谨 的 、 结 构 化 的 。1970 年 ，IBM 公司 高 级 研究 员 
埃 德 加 。 考 特 〈Edgar Frank Codd) 提出 的 《大 型 共享 数据 库 数据 的 关系 模型 》 成 为 推动 
关系 数据 库 发 展 的 重要 里 程 碑 。 后 来 ， 关 系 型 数据 库 飞 速 发 展 并 得 到 广泛 应 用 。 关 系 型 数 
据 库 以 关系 代数 为 基础 ， 成 为 存放 和 管理 数据 的 有 效 手段 。 

结构 化 数据 的 主要 特征 是 结构 化 数据 包括 的 任何 一 列 数据 不 可 再 细 分 ， 并 且 任何 一 列 
数据 都 具有 相同 的 数据 类 型 。 基 于 关系 代数 理论 的 数据 库 以 数据 表 为 基础 ， 包 括 并 、 差 、 
投影 、 笛 卡 儿 积 、 选 择 5 种 基本 运算 ， 对 结构 化 数据 进行 不 同方 式 的 关联 ， 可 以 满足 数据 
维护 和 统计 分 析 的 需求 。 


2. 关系 型 数据 库 数 据 管理 语言 
当前 ， 典 型 的 关系 型 数据 库 包 括 Oracle、SQL Server、DB2、Informix 、Sysbase、 


MySQL 等 。 
关系 型 数据 库 的 操作 语言 是 结构 化 查询 语言 (Structured Query Language, SQL)。SQL 
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包括 数据 定义 语言 (Data Definiation Language，DDL ) 和 数据 操作 语言 (Data Manipulation 
Language，DML) 两 部 分 。DDL 完成 数据 对 象 和 操作 过 程 的 定义 ， 包 括 数据 表 、 视 图 、 存 
储 过 程 、 触 发 器 ,主键 、 外 键 、 索 引 、 分 区 等 ,DML 则 完成 数据 的 操作 功能 , 包括 增加 (Insert)、 
删除 (Delete)、 修 改 (Update)、 查 询 (Selecb)， 就 是 人 们 经 常 听 到 的 数据 CRUD (Create、 
Read、Update、Delete )。 

SQL 首先 成 为 数据 库 语 言 的 美国 标准 ， 后 来 又 成 为 数据 库 语 言 的 国际 标准 。 为 了 增强 

数据 库 管 理 能 力 ， 数 据 库 软 件 提供 商 均 在 标准 SQL 的 基础 上 进行 了 扩展 ， 其 中 以 Oracle 
公司 的 PL/SQL 最 为 典型 。 


3. 关系 型 数据 库 数据 管理 方法 


易 用 性 、 功 能 全 面 性 、 高 性 能 、 安 全 性 、 可 伸缩 性 等 是 评价 数据 库 管 理 软件 的 主要 方 
面 。 在 信息 技术 发 展 的 早期 ， 由 于 数据 规模 相对 较 小 并 且 以 事务 型 应 用 为 主 ， 因 此 数据 库 
管理 软件 重点 解决 高 并 发 条 件 下 的 系统 响应 性 能 问题 。 例 如 ， 我 国 的 电信 、 金 融 、 互 联网 
行业 中 的 大 型 企业 ， 信 息 系统 的 用 户 规模 通常 在 亿 级 ， 要 应 付 如 此 高 并 发 的 请 求 ， 对 数据 
库 管理 软件 是 一 个 非常 大 的 挑战 。 

对 于 大 规模 用 户 的 高 并 发 请 求 , 一 方面 需要 组 织 有 足够 多 的 IT 资源 作为 后 台 支 撑 , 另 
-方面 还 需要 具有 合理 的 系统 架构 ， 包 括 存储 架构 、 计 算 架 构 、 网 络 传输 架构 以 及 容 灾 
架构 。 

事务 型 应 用 通常 采用 “计算 ”与 “存储 ”分 离 的 集群 架构 方式 ， 计 算 架 构 和 存储 架构 

之 间 通 过 光纤 网 络 连接 。 目 前 ， 计 算 架 构 和 存储 架构 之 间 的 数据 传输 完全 能 够 满足 要 求 ， 
数据 存 取 速 率 上 瓶颈 取决 于 主机 对 磁盘 数据 的 存 取 速 率 (IO )。 
要 实现 高 效 地 存 取 数据 ， 首 先 要 解决 数据 的 存放 问题 ， 这 就 好 比 人 们 有 很 多 图 书 ， 如 
果 图 书 杂 乱 无 章 地 摆 放 ， 那 么 快速 地 找到 某 一 本 书 几 乎 是 不 可 能 的 ， 如 果 一 本 一 本 地 找 ， 
那么 检索 效率 也 是 很 低 的 ， 如 果 事 先 对 图 书 进 行 分 门 别 类 地 摆 放 ， 就 能 更 快 地 检索 到 想 要 
的 图 书 。 

与 图 书 分 类 摆 放 的 思路 一 样 ， 数 据 库 管 理 软件 采用 分 区 (Partition)、 索 引 〈Index) 等 
方式 作为 存储 手段 ， 数 据 库 设 计 者 可 以 根据 查询 条 件 《Where) 中 字段 的 使 用 频率 ， 确 定 
分 区 或 者 索引 的 定义 方式 。 时 间 段 、 地 域 、 部 门 、 专 业 等 通常 会 用 作 分 区 的 条 件 ， 如 果 数 
据 查 询 条 件 为 分 区 条 件 ， 系 统 就 可 以 直接 进入 某 个 数据 分 区 查找 ， 而 无 须 进行 全 库 扫描 ， 
这 种 方式 大 大 提高 了 数据 检索 效率 。 
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索引 的 原理 是 按照 索引 条 件 对 数据 进行 重新 排序 。 由 于 数据 是 按照 从 高 到 低 或 者 从 低 
到 高 的 方式 重新 组 织 的 ， 那 么 就 可 以 采用 折 半 查找 法 快速 定位 数据 所 在 位 置 ， 而 不 用 一 个 
一 个 地 对 比 。 

在 众多 关系 型 数据 库 之 中 ， 甲 骨 文公 司 的 Oracle 数据 库 经 过 三 十 余年 的 发 展 ， 以 其 高 
稳定 性 、 高 性 能 、 易 用 性 等 特点 ， 成 为 世界 领先 的 商业 数据 库 软件 。 近 年 来 ，Oracle 数据 
库 不 断 顺应 信息 技术 和 互联 网 的 发 展 要 求 ， 分 别 发 布 了 8i、9i、10g、11g、12c 几 个 版 本 。 

从 Oracle 数据 库 的 版 本 号 可 以 看 出 Oracle 数据 库 在 不 同 发 展 阶段 重点 解决 的 问题 。 

。 Oracle 8i 产品 是 在 互联 网 迅猛 发 展 的 1999 年 发 布 的 ， 其 中 1 为 互联 网 (Intemet) 

的 首 字 母 。 

。 2004 年 ，Oracle 在 分 布 式 计 算 、 网 格 计算 、 并 行 计算 等 技术 发 展 的 背景 下 ,发布 了 
Oracle 10g 产品 ， 其 中 g 为 网 格 计算 (Grid Computing) 的 首 字母 ，2007 年 ， 发 布 
了 Oracle 11g 产品 ， 实 现 了 信息 全 生命 周期 管理 等 多 项 创新 ， 实 现 了 系统 性 能 、 可 
用 性 、 安 全 性 、 开 发 与 测试 效率 等 多 个 方面 的 提升 。 

。 2013 年 ,甲骨 文公 司 发 布 面向 云 计 算 的 12c 产 品 ,其 中 c 为 云 计算 (Cloud Computing) 
的 首 字 母 。 


4. 关系 型 数据 库 在 大 数据 时 代 的 价值 和 作用 


在 大 数据 时 代 ， 数 据 产生 的 速度 和 规模 都 比 以 往 要 快 、 要 多 ， 传 统 的 基于 关系 代数 理 
论 的 关系 型 数据 库 在 支持 大 数据 方面 显得 力不从心 。 

那么 , 是 否 意味 着 传统 的 关系 型 数据 库 日 落 西 山 , 逐渐 退出 历史 舞台 了 呢 ? 当然 不 是 ! 
关系 型 数据 库 如 同 编程 语言 中 的 汇编 、C、Java 等 高 级 语言 的 关系 一 样 ， 是 某 个 特定 时 代 
满足 特定 需求 的 产物 ， 它 并 不 会 随 着 时 代 的 发 展 而 消亡 ， 只 是 不 太 适 合 新 时 代数 据 管理 的 
发 展 要 求 ， 只 能 专注 解决 传统 领域 的 问题 。 

以 编程 语言 为 例 ， 汇 编 、C 等 语言 并 不 会 随 着 C++、Java 等 高 级 语言 的 出 现 而 消失 
C++、Java 等 高 级 语言 更 容易 理解 和 维护 ， 因 此 更 加 适合 开发 面向 用 户 的 应 用 ， 而 汇编 、C 
这 样 的 开发 语言 则 适合 于 处 理 系统 资源 占用 小 、 运 行 速度 要 求 高 、 更 偏向 操作 系统 底层 的 
应 用 开发 。 

关系 型 数据 库 主 要 用 于 支持 事务 型 应 用 ， 在 面向 多 用 户 、 高 并 发 的 请 求 的 同时 ， 关 系 
型 数据 库 也 能 够 快速 地 实现 数据 的 增加 、 更 新 和 删除 。 事 务 型 应 用 的 特征 是 交易 频率 高 、 
交易 次 数 多 、 单 个 交易 的 数据 量 小 。 此 外 ， 关 系 型 数据 库存 储 的 是 细 粒 度 的 交易 型 数据 ， 
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因此 更 容易 对 数据 进行 排序 、 分 组 与 合并 ， 可 以 实现 多 个 维度 的 数据 统计 与 分 析 。 为 了 支 
持 TB 级 结构 化 数据 的 统计 分 析 ， 关 系 型 数据 库 也 可 以 作为 数据 仓库 使 用 。 

与 关系 型 数据 库 相 比 ， 类 似 Hadoop/HBase 这 样 的 列 式 数据 库 中 的 数据 表 结 构 简 单 ， 
查询 统计 需求 对 数据 表 之 间 的 关联 度 要 求 低 ， 可 以 满足 大 规模 数据 的 存储 需求 ， 但 对 于 需 
要 多 表 关 联 才能 完成 的 复杂 的 统计 分 析 功 能 ， 还 需要 借助 传统 的 关系 型 数据 库 实现 ， 因 此 
分 布 式 集群 数据 库 与 传统 关系 型 数据 库 之 间 是 相互 补充 的 关系 。 

为 了 满足 大 数据 时 代 对 于 大 规模 数据 的 存 取 需 求 ， 同 时 又 能 够 支持 较为 复杂 的 数据 查 
询 需 求 ， 出 现 了 许多 创新 型 的 分 布 式 数据 库 ， 这 些 新 型 的 分 布 式 数据 库 综 合 了 两 种 类 型 数 
据 库 的 优点 ， 比 如 Amazon 的 DynamoDB、Google 的 Megastore、 阿 里 巴巴 的 Ocean 开源 
数据 库 等 。 

从 新 型 分 布 式 数据 库 的 实现 原理 来 看 ， 通 常 是 根据 不 同 的 应 用 场景 进行 了 数据 操作 的 
创新 。 以 阿里 巴巴 的 OceanBase 为 例 ， 其 根据 商品 收藏 等 特定 需求 ， 区 别 对 待 数据 的 增加 、 
删除 、 修 改 、 查 询 操作 ， 对 于 数据 的 增加 、 删 除 、 修 改 这 样 的 写 入 操作 ， 通 过 单独 的 
UpdateServer 进行 管理 , 而 对 于 查询 操作 , 则 通过 ChunkServer 进行 管理 , 通过 MergeServer 
完成 协议 解析 、SQL 解析 、 请 求 转发 、 结 果 合 并 、 多 表 操 作 等 。 

可 见 ， 关 系 型 数据 库 与 大 规模 分 布 式 数 据 库 分 别 擅长 解决 不 同 场景 的 业务 问题 ， 在 大 
数据 运营 设计 时 ， 应 当 根 据 两 种 数据 库 的 特点 和 优势 ， 制 定 满足 应 用 需要 的 数据 库 解 决 
方案 。 


8.3 大 数据 分 析 技 术 


大 数据 典型 分 析 技 术 为 离线 计算 技术 MapReduce， 它 以 大 数据 块 为 操作 单位 ， 首 先 对 数据 进行 
微分 Map， 然 后 再 对 集合 内 数据 进行 聚 类 运算 。 


分 布 式 数据 库 和 关系 型 数据 库 的 目标 是 将 大 数据 存放 起 来 ， 可 是 要 想 在 海量 数据 中 发 
现价 值 ， 还 需要 强大 的 数据 建 模 和 数据 分 析 技术 。 

大 数据 建 模 和 数据 分 析 技术 与 大 数据 存储 技术 是 不 可 分 割 的， 不 同 的 数据 存储 方式 决 
定 了 不 同 的 数据 建 模 和 分 析 方法 。 像 GFS、HDEFS 这 样 的 分 布 式 数据 存储 技术 将 海量 数据 
进行 切 分 并 存储 到 不 同 的 存储 节点 上 ， 当 新 的 数据 产生 后 ， 用 户 无 须 关心 切 分 后 的 数据 存 
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放 到 哪 台 设 备 上 ， 数 据 存储 操作 对 数据 管理 员 来 说 是 透明 的 ， 如 果 存 储 空间 不 足 ， 则 可 以 
将 新 的 设备 添加 到 集群 中 。 
在 分 布 式 存储 技术 满足 日 益 增长 的 海量 数据 存储 的 同时 ， 也 提出 了 新 的 问题 : 如 何 保 
证 数据 获取 的 效率 ? 如 何 保障 数据 的 可 靠 性 ? 如 何 提高 数据 获取 的 便捷 性 ? 如 何 实现 分 布 
式 数据 库 与 关系 型 数据 库 的 有 效 结合 ? 等 等 。 
大 数据 分 析 应 用 分 为 查询 、 统 计 分 析 、OLAP、 数 据 挖 掘 几 种 类 型 。 
大 数据 查询 与 传统 的 交易 型 数据 查询 从 功能 角度 看 是 一 样 的 ， 区 别 在 于 大 数据 查询 解 
决 了 海量 数据 的 查询 效率 问题 。 
大 数据 统计 分 析 与 大 数据 查询 类 似 ， 同 样 是 解决 统计 效率 问题 。 
OLAP 即 在 线 分 析 处 理 ， 是 相对 OLTP (在 线 事务 处 理 ) 提出 的 ，OLAP 面向 分 析 ， 
OLTP 面向 事务 。OLAP 支持 多 个 维度 的 数据 统计 。 
数据 挖掘 的 目标 是 从 大 量 的 数据 中 找 出 看 似 不 相干 的 事物 之 间 的 联系 ， 比 如 啤酒 和 尿 
布 之 间 的 联系 ， 某 种 药物 购买 行为 和 流行 病 之 间 的 联系 等 。 
为 支持 以 上 应 用 ， 需 要 有 相应 的 分 析 技 术 手 段 作为 支撑 。 其 中 ，MapReduce 是 支持 分 
布 式 计算 的 典型 分 析 技 术 ，SQL 是 支持 关系 型 计算 的 典型 分 析 技 术 。 
此 外 ，Storm、Spark 等 海量 数据 实时 流 式 处 理 技术 ,弥补 了 MapReduce 在 海量 流 式 计 
算 方面 的 不 足 ，R 语言 和 工具 解决 了 大 数据 分 析 结 果 的 展示 问题 。 


8.3.1 大 数据 建 模 方法 : 机 器 特点 与 人 类 诉求 


对 大 数据 进行 建 模 的 目的 是 便于 对 数据 进行 分 析 和 利用 。 

以 废水 处 理 过程 为 例 ， 首 先是 将 废水 引入 ， 然 后 再 对 水 进行 逐 级 处 理 和 过 滤 ， 最 后 将 
处 理 好 的 水 注入 不 同 的 输出 管道 ， 比 如 灌溉 渠道 、 中 水 渠道 、 工 业 用 水 渠道 等 ， 如 图 8-3-1 
所 示 。 


图 8-3-1 废水 变 可 用 水 的 处 理 过 程 
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数据 处 理 过 程 与 废水 处 理 过 程 相 似 。 数 据 处 理 过 程 是 首先 对 不 同 来 源 的 原始 数据 进行 
ETL/ELT 加载、 转换 、 清 洗 )， 然 后 将 ETL 后 的 数据 放 入 不 同 的 数据 模型 中 ， 接 着 根据 
应 用 需要 对 数据 进行 二 次 ETL， 再 将 数据 放 入 新 的 数据 模型 ， 最 后 将 数据 转 入 不 同 的 展示 
渠道 或 开放 渠道 ， 比 如 桌面 Web、 移 动 客户 端 、 短 信 平 台 、 合 作 伙伴 数据 平台 等 。 从 原始 
数据 到 可 用 数据 的 处 理 过 程 如 图 8-3-2 所 示 。 


图 8-3-2 ”从 原始 数据 到 可 用 数据 的 处 理 过 程 


从 图 8-3-2 可 以 看 出 ， 数 据 从 原始 状态 变 为 可 用 状态 ， 需 要 经 过 多 个 阶段 的 ETL， 而 
每 个 阶段 的 ETL 必然 需要 数据 模型 的 支持 。 比 如 在 对 多 个 数据 源 进行 ETL 的 阶段 ， 需 要 
通过 数据 模型 来 装载 聚合 于 不 同 数据 源 的 数据 ， 如 果 这 些 数据 还 不 能 满足 数据 分 析 应 用 要 
求 ， 就 需要 对 数据 再 次 进行 ETL， 而 ETL 的 基础 是 数据 模型 。 

数据 模型 应 当 支 持 数据 一 步 步 地 朝 着 目标 应 用 靠 扰 。 通 常 ， 数 据 离 原始 数据 越 近 ， 数 
据 的 颗粒 度 越 小 ， 更 便于 从 多 个 维度 对 数据 进行 分 析 ， 同 时 由 于 数据 颗粒 度 小 ， 数 据 处 理 
的 时 间 也 较 长 。 另 一 方面 ， 如 果 数 据 离 用 户 越 近 ， 那 么 要 求 数据 的 颗粒 度 要 大 ， 数 据 分 析 
结果 要 使 人 容易 理解 ， 并 能 够 快速 看 到 数据 分 析 的 结果 。 数 据 规律 如 图 8-3-3 所 示 。 

从 图 8-3-3 可 以 看 出 ， 机 器 具备 的 能 力 和 人 的 需求 之 间 是 存在 天 然 鸿沟 的 : 机 器 侧重 
于 逻辑 处 理 ， 机 器 可 以 通过 模型 存储 海量 /单个 数据 ， 而 人 的 决策 需求 则 是 信息 、 知 识 、 归 
纳 性 、 个 性 化 的 。 


图 8-3-3 数据 建 模 过 程 实际 是 要 不 断 填 平 机 器 与 人 之 间 的 鸿沟 


| 274 


第 8 章 
大 数据 技术 : 他 山 之 石 ， 可 以 攻 玉 
根据 以 上 分 析 ， 对 数据 从 采集 到 分 析 的 数据 建 模 过 程 可 理解 为 : 

。 在 从 各 种 数据 源 抽取 数据 并 放 入 数据 仓库 的 初始 阶段 , 尽量 通过 数据 模型 放 入 较 小 
颗粒 度 的 数据 ， 以 便 从 多 个 维度 对 数据 进行 分 析 。 

。 根据 用 户 需 要 ， 将 数据 聚合 到 颗粒 度 更 大 的 数据 模型 中 (有 的 组 织 称 为 数据 集 市 )。 
当 数 据 经 过 多 次 ETL 并 放 入 数据 模型 后 ， 数 据 应 当 变 得 越 来 越 容易 理解 和 使 用 ， 
数据 的 个 性 化 程度 越 来 越 高 ， 直 至 个 性 化 到 分 析 结 果 能 够 满足 部 门 、 角 色 、 岗 位 其 
至 单个 特定 人 的 需要 。 


8.3.2 ”关系 型 数据 库 分 析 技 术 


基于 关系 代数 的 数据 库 理 论 主 要 解决 结构 化 数据 的 管理 问题 ， 涌 现 出 的 数据 管理 与 数 
据 分 析 理 论 和 实践 包括 数据 仓库 、 数 据 集 市 、 操 作 型 数据 仓库 、 分 析 型 数据 仓库 、 在 线 分 
析 处 理 、 数 据 挖 据 、 商 业 智能 等 。 关 系 型 数据 库 /数据 仓库 的 分 析 语 言 和 工具 以 结构 化 查询 
语言 (SQL ) 为 主 。 

关于 如 何 实现 大 量 历史 数据 的 有 效 管理 和 分 析 ， 数 据 仓 库 大 师 Bil Immon 和 Ralph 
Kimball 提出 了 不 同 的 理论 和 方法 体系 。 

Bill Immon 强调 “ 自 顶 而 下 ”的 数据 仓库 构建 方法 ， 即 先 构建 一 个 大 的 细 粒 度 的 数据 
仓库 池 ， 然 后 再 构建 面向 不 同 主题 的 数据 集 市 ， 这 样 可 以 保证 数据 基础 的 全 面 性 ， 基 于 更 
细 粒 度 的 数据 进行 分 析 也 会 让 数据 分 析 更 加 灵活 。 

Ralph Kimball 强调 “ 自 下 而 上 ”的 敏捷 的 数据 仓库 构建 方法 ， 即 先 构建 小 的 面向 不 同 
主题 的 数据 集 市 ， 然 后 再 逐步 完善 数据 集 市 ， 侧 重 于 借助 多 维 模型 的 设计 ， 使 分 析 结 果 更 
贴近 于 数据 分 析 用 户 ， 有 更 好 的 用 户 体验 。 

以 上 两 种 数据 仓库 设计 大 师 的 观点 各 有 侧重 ，Bil Immon 的 观点 侧重 于 数据 仓库 的 长 
远 规划 ， 而 Ralph Kimball 则 侧重 于 数据 仓库 对 于 个 性 化 需求 的 支持 。 

在 商业 领域 ， 有 Oracle、DB2、SQL Server 等 企业 级 数据 库 ， 为 了 支持 数据 分 析 应 用 ， 
设计 开发 了 多 种 产品 和 工具 。 比 如 甲骨 文公 司 的 Oracle Warehouse Builder，IBM 公司 的 
DB2 Data Warehouse Edition， 微 软 公 司 SQL Server 系列 的 Analysis Services Data Mining、 


Reporting Services 等 。 
甲骨 文公 司 的 Oracle 数据 库 是 大 规模 数据 管理 和 分 析 产 品 以 及 工具 的 集大成 者 ， 典 型 
的 数据 库 管理 技术 和 工具 包括 实时 应 用 集群 (Real Application Clusters，RAC)、Partition 
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(分 区 ) 等 ，Oracle 数据 库 基于 标准 SQL 做 了 许多 扩展 ， 形 成 了 自己 的 过 程 化 SQL 语言 
(Procedural Language/SQL，PL/SQL)，PL/SQL 是 一 种 非常 强大 的 SQL 编程 语言 。 

数据 存储 方式 决定 了 数据 分 析 的 效率 ， 而 根据 应 用 特点 对 数据 分 区 是 提高 数据 查询 和 
分 析 效 率 的 有 效 手 段 。 比 如 ， 可 以 从 日 期 、 地 域 、 部 门 等 维度 对 数据 进行 分 区 ， 当 数据 向 
数据 库 装载 时 ， 数 据 库 管理 系统 会 根据 数据 内 容 将 数据 分 别 存 放 到 不 同 的 区 域 ， 这 样 当 操 
作 数 据 时 ， 就 会 快速 地 定位 数据 的 存放 位 置 ， 完 成 数据 的 增加 、 更 新 、 删 除 、 查 询 等 操作 。 

在 数据 仓库 中 预先 构建 中 间 表 也 是 提高 前 台 查 询 和 展示 效率 的 一 种 有 效 手段 。 中 间 表 
存放 汇总 后 的 数据 ,数据 颗粒 度 更 大 , 数据 规模 更 小 ， 因 此 能 够 更 加 快速 地 展示 分 析 结 果 。 
使 用 中 间 表 的 设计 方式 主要 适用 于 基于 ODS 的 OLAP 应 用 。 通 常 采 用 从 多 个 数据 源 
SELECT 然后 CREATE 的 方式 构建 中 间 表 ， 这 样 可 以 提高 中 间 表 的 构建 效率 ， 但 是 这 种 方 
式 的 缺点 是 无 法 预先 定义 分 区 ， 仅 仅 适 用 于 数据 量 小 的 应 用 场景 。 

如 果 要 创建 数据 分 区 ， 必 须要 在 创建 数据 表 的 同时 完成 分 区 的 创建 ， 预 先 为 数据 划分 
出 数据 存放 空间 ， 完 成 数据 规划 。 由 于 在 数据 操作 时 ， 为 了 保证 事务 的 完整 性 ， 通 常 要 记 
录 数 据 操作 日 志 ， 为 了 提高 数据 导入 效率 ， 可 以 事先 取消 日 志 (NOLOGGING)。 由 于 数据 
操作 通常 会 因为 寻找 空闲 存储 空间 而 降低 了 数据 存 取 效率 ， 可 以 在 数据 操作 之 间 将 操作 模 
式 改 为 追加 (APPEND ) 模式 ， 这 样 就 可 以 将 数据 在 连续 的 数据 空间 追加 ， 从 而 提高 数据 
导入 效率 。 如 果 涉 及 多 个 数据 表 关 联 更 新 ， 建 议 采 用 先 SELECT 再 INSERT 的 方式 ， 避 免 
直接 使 用 UPDATE 操作 数据 。 

构建 索引 也 是 提高 数据 查询 和 统计 效率 的 有 效 方式 。 数 据 表 索 引 能 够 提高 数据 操作 效 
率 的 原理 很 简单 ， 就 是 根据 索引 预先 对 数据 进行 排序 ， 这 样 就 可 以 通过 折 半 查找 法 快速 找 
到 符合 条 件 的 数据 ， 而 不 是 一 个 一 个 地 对 比 无 序 存放 的 数据 。 另 外 ， 数 据 表 索引 也 可 以 存 
放 在 不 同 的 物理 磁盘 ， 从 而 提高 了 数据 的 并 发 处 理 效率 。 

尽管 传统 关系 型 数据 库 采 用 单机 模式 设计 ， 难 以 无 限 横向 扩展 ， 只 能 依赖 提升 单机 处 
理 能 力 的 纵向 扩展 模式 ， 但 是 关系 型 数据 库 在 大 规模 并 行 计 算 方面 也 取得 了 非常 大 的 性 能 
改进 。 比 如 Oracle 的 g 系列 和 c 系列 数据 库 产品 ， 就 是 采用 网 格 计 算 、 云 计算 技术 研发 而 
成 的 。 即 便 如 此 ， 传 统 数据 库 架 构 受 限于 采用 “集中 控制 ”思维 ， 而 “集中 化 ”和 “中 心 
化 ”架构 方式 不 太 可 能 实现 系统 性 能 的 线性 扩展 ， 集 群 内 数据 库 节 点 规模 非常 有 限 。 随 着 
数据 库 节 点 的 增多 ， 集 群 总 体 性 能 急剧 下 降 。 像 Hadoop、HBase 这 样 的 分 布 式 数据 库 采 用 
了 与 关系 型 数据 库 不 同 的 “去 中 心 化 ”架构 设计 思维 ， 处 理 节点 之 间 是 “平等 ”的 ， 因 此 
可 以 实现 处 理 能 力 线性 扩展 ， 能 够 满足 大 规模 数据 的 存储 和 分 析 需 要 。 
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8.3.3 大 数据 离线 分 析 技 术 


“主机 + 磁盘 阵列 ”的 系统 结构 实现 了 计算 能 力 与 存储 能 力 的 分 离 ， 适 用 于 数据 存 取 次 
数 多 、 单 个 数据 量 小 的 事务 型 应 用 。 

但 是 ， 大 数据 时 代 都 是 海量 数据 (PB 级 ) 的 处 理 ， 在 面 对 海 量 数据 存 取 时 ,“ 主 机 + 
磁盘 阵列 ” 式 的 系统 架构 需要 在 主机 集群 与 磁盘 阵列 之 间 消 耗 大 量 的 网 络 带 宽 ， 这 种 架构 
方式 大 大 降低 了 系统 的 处 理 效率 ， 无 法 满足 大 数据 时 代 的 数据 存储 要 求 。 

为 了 解决 大 规模 数据 的 处 理 效率 问题 ， 需 要 开启 不 同 的 思维 模式 : 能 否 将 数据 存储 在 
主机 内 部 , 而 不 是 主机 外 部 的 磁盘 阵列 上 ?如果 可 以 这 样 , 就 会 大 大 提高 数据 的 存 取 效 率 。 
是 否 可 以 以 大 数据 块 〈 比 如 64MB) 为 单 次 数据 存 取 单位 ， 而 不 是 以 字 节 为 单 次 数据 存 取 
单位 ? 这样 可 以 一 次 处 理 大 批量 数据 ， 进 而 提高 数据 的 处 理 效率 。 

谷歌 公司 沿 着 以 上 思路 提出 了 GFS、MapReduce、BigTable 这 样 的 大 规模 分 布 式 数据 
处 理 方案 , 解决 了 互联 网 Web 大 规模 数据 的 存储 和 快速 检索 问题 。 GFS 就 是 以 上 提 到 的 以 
大 数据 块 为 单位 进行 数据 存储 的 ， 而 MapReduce 则 相当 于 基于 GFS 上 的 数据 分 析 引 擎 。 
MapReduce 的 数据 处 理 过 程 如 图 8-3-4 所 示 。 


图 8-3-4 MapReduce 数据 处 理 过 程 
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从 图 8-3-4 可 以 看 出 , 输入 文件 1 到 输入 文件 3 为 原始 数据 ， 原始 数据 经 由 Map、Sort 
和 Reduce 3 个 子 过 程 ， 最 后 输出 满足 统计 要 求 的 结果 文件 。 
为 了 更 加 直观 地 看 到 MapReduce 的 数据 处 理 过 程 , 下 面 以 电信 运营 商海 量 上 网 记录 统 


计 为 例 ， 从 地 域 维度 统计 上 网 数据 流量 ， 上 网 记录 原始 数据 如 下 所 示 。 
记录 号 上 网 流量 /B 上 网 日 期 ” 手机 号 码 .… 
第 1 条 : 12 345 678 131223 8613812345678... 
第 2 条: 56781234 131223 8613946571234... 
第 3 条 : 23 456 789 131223 8613712345678... 
第 4 条 : 45 678 901 131224 8613546757122... 
第 5 条 : 33554567 131224 8613512121111... 


以 以 上 5 条 上 网 记录 为 原始 数据 源 ， 按 照 日 期 统计 上 网 流量 ， 简 单 起 见 ， 上 网 记录 样 


本 数据 


Ph 仅 保留 了 本 案例 所 需 的 上 网 流量 (最 左 一 列 8 位 数字 )、 上 网 日 期 (中间 一 列 )》 和 


手机 号 码 ( 最 右 一 列 )。 
假如 以 第 1 条 和 第 2 条 上 网 记录 作为 输入 文件 1 的 内 容 ， 第 3 条 和 第 4 条 上 网 记录 作 
为 输入 文件 2 的 内 容 ， 第 5 条 上 网 记录 是 输入 文件 3 的 内 容 ， 如 下 所 示 。 


第 1 条 : 12 345 678. 131223 8613812345678... 遇 太 光标 1 
第 2 条: 56781234 131223 8613946571234... 
第 3 条 : 23456789 131223 8613712345678... 

输入 文件 2 
第 4 条 : 45 678 901 131224 8613546757122... 
第 5 条: 33554567 131224 8613512121111... 输入 文件 3 


3 个 输入 文件 分 别 首先 经 过 Map 操作 ， 从 输入 文件 指定 位 置 提取 键 值 对 〔 即 本 例 中 的 
日 期 为 “ 键 ” 本 例 中 的 “ 值 ”为 上 网 流量 ) 到 不 同 的 Map 集合 中 ， 作 为 Sort 的 输入 ， 如 


下 所 示 。 
第 1 条 : 12 345 678 131223 8613812345678... 输入 文件 1 
第 2 条 : S6781234 131223 8613946571234... 
第 3 条 : 23 456789 131223 8613712345678... 输入 文件 2 
第 4 条 : 45678901 131224 8613546757122... SR 
第 5 条 : 33554567 131224 8613512121111... 


提取 后 的 键 值 对 包括 5 个 ， 分 别 如 下 : 


{13 
{131224 


1223,12 345 678}、 {131223,56 781 234},{131223,23 456 789}、 {131224, 45 678 901}、 
,33 554 567}, 这 些 键 值 对 经 由 Sort 操作 将 其 放 入 相应 的 分 组 中 , 分 组 结果 如 下 所 示 。 


Sortl: {131223,[12 345 678.56 781 234.23 456 789]} 
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Sort2: {131224,[45 678 901.33 554 567]} 

Sort 操作 后 的 结果 又 成 为 Reduce 的 输入 ， 其 中 Reducel 的 输入 为 Sortl,Reduce2 的 输 
入 为 Sort2。Reduce 实际 上 是 执行 聚合 操作 ， 根 据 预 先 编制 的 Reduce 程序 ， 需 要 对 多 个 值 
执行 Sum 操作 ， 因 此 Reduce 后 的 结果 为 。 

Reducel: {131223.92 583 701} 

Reduce2: {131224,79 233 468} 

以 上 就 是 MapReduce 的 输出 结果 : 2013 年 12 月 23 日 的 总 流量 为 92 583 701B( 约 合 
92.58 MB)，2013 年 12 月 24 日 的 总 流量 为 79 233 468B ( 约 合 79.23 MB)。 

以 上 就 是 MapReduce 从 多 个 文件 中 通过 Map、Sort 和 Reduce 操作 进行 统计 分 析 的 过 
程 。 由 于 以 上 仅仅 是 一 个 剖析 原理 的 简单 示例 ， 在 MapReduce 的 实际 运行 环境 中 , 会 有 大 
量 的 输入 文件 ， 由 于 大 量 的 输入 文件 分 布 式 地 存储 在 不 同 的 主机 设备 中 ， 并 且 被 分 割 的 大 
文件 无 须 去 主机 外 部 的 磁盘 阵列 上 存 取 ， 只 需 在 主机 内 部 的 磁盘 上 存 取 ， 解 决 了 因 大 文件 
传输 而 引起 的 大 量 网 络 带宽 占用 问题 。 由 于 Map、Sort、Reduce 操作 分 别 在 不 同 的 主机 上 ， 
通过 多 个 任务 并 行 执行 ， 彼 此 之 间 不 存在 关联 依赖 ， 大 大 提高 了 数据 统计 效率 。 

MapReduce 是 一 种 典型 的 大 数据 分 析 技术 , 但 是 也 存在 许多 不 足 , 为 了 克服 这 些 不 足 ， 
许多 软件 在 此 基础 上 进行 了 改进 和 完善 ， 包 括 由 Facebook 开发 并 开源 的 分 布 式 NoSQL 数 
据 库 软件 Cassandra， 开 源 分 布 式 文件 系统 Ceph (支持 对 象 存储 )，Cleversafe 公司 的 分 散 
存储 网 络 〈 将 元 数据 分 散 到 集群 中 ， 所 以 称 为 分 散 存储 )，IBM 公司 的 通用 并 行文 件 系统 
(General Parallel File System，GPFS)，EMC 公司 的 Isilon、MapR 文件 系统 ，NetApp 公司 
的 Hadoop 开放 方案 等 。 


8.3.4 大 数据 实时 流 式 分 析 技术 


在 现实 生活 中 ， 许 多 应 用 场景 要 求 系统 能 够 实时 做 出 响应 ， 比 如 商品 实时 推介 、 广 告 
投放 、 消 费 额 度 提 醒 、 实 时 的 风险 控制 、 实 时 统计 、 网 络 故 障 预防 、 无 线 带宽 分 配 、 热 门 
话题 推送 、 汽 车 超速 报警 等 。 

系统 只 有 具备 良好 的 实时 性 ， 企 业 才 能 够 把 握 商 机 ， 有 具备 更 强 的 能 力 。 例 如 ， 商 品 实 
时 推介 、 广 告 投放 等 能 够 提升 企业 产品 销售 能 力 ， 实 时 的 风险 控制 、 实 时 统计 能 够 提高 企 
业 的 管理 能 力 ， 消 费 额度 提醒 可 以 提升 企业 的 客户 服务 能 力 。 可 见 ， 实 时 计算 可 以 有 效 地 
提升 企业 的 竞争 能 力 。 
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Hadoop 实现 分 布 式 计算 的 原理 是 首先 借助 HDFS/HBase 将 海量 数据 切片 后 存 入 集群 
中 ， 然 后 根据 数据 统计 需求 ， 采 用 MapReduce 从 集群 中 对 数据 进行 提取 (Map) 和 聚合 
(Reduce)， 这 种 架构 方式 适合 于 大 规模 数据 的 离线 批量 处 理 ， 但 却 无 法 满足 实时 计算 的 
为 了 弥补 Hadoop 在 支持 大 规模 数据 实时 计算 方面 的 不 足 ， 解 决 应 用 响应 的 实时 性 问 
题 ,业界 提出 了 许多 分 布 式 实时 流 式 计 算 框架 , 以 Twitter 开源 的 Storm 和 UC Berkeley AMP 
lab 开源 的 Spark 最 为 典型 。 
为 了 清晰 地 看 到 分 布 式 实时 流 式 计算 技术 如 何 解决 大 规模 数据 的 实时 计算 的 思路 和 
方法 ， 下 面 以 Storm 的 实现 原理 为 例 进行 简单 分 析 。 
Storm 开源 框架 包括 的 概念 有 Nimbus、 Zookeeper、 Supervisor、 Worker、 Task、Topology、 
Spout、Bolt、Tuple、Stream、Stream Grouping， 它 们 各 自 的 分 工 如 下 。 
。 Nimbus: 主要 负责 资源 分 配 和 任务 调度 ， 与 Hadoop 的 JobTracker 相对 应 。 
。 Zookeeper: 负责 维护 配置 信息 、 命 名 服务 、 分 布 式 同步 、 分 组 服务 。 
。 Supervisor: 负责 接受 Nimbus 分 配 的 任务 ， 启 动 和 停止 worker 进程 ， 与 Hadoop 的 
TaskTracker 相对 应 。 
。 Task: worker 中 执行 spout/bolt 的 线程 。 
。 Worker: 运行 具体 处 理 组 件 罗 辑 的 进程 , worker 中 包含 一 个 或 者 多 个 task, 与 Hadoop 
的 Child 相对 应 。 
。 Topology: 是 反映 数据 处 理 的 拓扑 结构 ， 与 Hadoop 的 Job 相对 应 。 
。 Spout: 意 为 “喷射 ”， 就 像 自来水 一 样 ， 采 集 数 据 源 并 将 其 发 送 到 bolt， 与 Hadoop 
的 Map 相对 应 。 
。 Bolt: 接受 数据 任何 执行 的 组 件 ， 执 行动 作 包 括 过 滤 、 函 数 操作 、 合 并 、 写 数据 库 
等 ， 与 Hadoop 的 Reduce 相对 应 。 
。 Tuple: 即 元 组 ， 一 次 消息 传递 的 基本 单元 。 
。 Stream: 多 个 tuple 就 组 成 了 源源 不 断 的 stream。 
。 Stream Grouping: 流 分 组 策略 告诉 topology 如 何在 两 个 组 件 之 间 发 生 tuple。 分 组 策 
略 包括 shuffle、field、all、direct 等 。shuffle 是 随机 发 送 方式 ，direct 为 指定 目的 地 
分 组 发 送 方式 ，field 为 按 字 段 分 组 发 送 方式 ，all 为 广播 发 送 方式 。 
为 了 直观 地 看 到 Storm 的 实现 原理 ， 从 基于 Topology (Spout/Bolt) 的 流 式 设计 、 流 分 
组 方式 设计 、 分 布 式 集群 设计 3 个 层面 进行 剖析 。 
基于 Topology (SpoutBolt) 的 流 式 设计 思路 如 图 8-3-5 所 示 。 
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Topology 


图 8-3-5 Storm 的 Topology 结构 


从 图 8-3-5 可 以 看 出 ，Storm 的 Topology 实际 上 是 对 Spout 和 Bolt 之 间 关 系 的 定义 ， 
Spout 是 数据 源 , 为 Bolt 注入 数据 , Bolt 的 数据 源 既 可 以 来 自 Spout, 也 可 以 来 自 其 他 Bolt。 

来 自 Spout 的 数据 流 需要 发 送 到 Bolt 进行 处 理 (过滤 、 汇 总 、 写 数据 库 等 )，Spout 输 
出 的 数据 以 怎样 的 方式 发 送 到 Bolt 的 则 需要 通过 Stream Grouping 进行 定义 (随机 发 送 、 
按 字段 发 送 ， 还 是 指定 目的 bolt 发 送 )，Stream Grouping 如 图 8-3-6 所 示 。 


图 8-3-6 ”Storm 流 分 组 (Stream Grouping) 原理 示意 图 


从 图 8-3-6 可 以 看 出 ， 可 以 通过 流 分 组 的 方式 决定 将 数据 流 发 送 给 哪个 Bolt 处 理 ， 这 
样 就 可 以 按照 预先 定义 来 处 理 数据 。 比 如 用 户 Web 行为 偏好 实时 〈 浏 览 、 检 索 ) 统计 ， 当 
用 户 浏览 某 个 网 页 或 者 按照 某 个 关键 字 搜 索 后 , Spout 就 可 以 将 用 户 的 行为 数据 发 送 到 Bolt 
处 理 ，Bolt 可 以 按照 流 分 组 策略 (比如 按 字 段 分 组 发 送 到 指定 的 Bolt 进行 统计 总数 加 
1)， 这 样 就 可 以 实时 看 到 用 户 浏览 网 页 的 次 数 或 者 搜索 关键 字 的 次 数 ， 这 些 统计 数据 可 以 
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作为 热门 商品 和 热门 搜索 关键 字 展示 给 用 户 。 
Storm 框架 的 优势 在 于 实时 处 理 大 规模 数据 ， 因 此 当 完 成 Storm 应 用 开发 后 ， 需 要 将 
其 部 署 到 分 布 式 集群 中 ，Storm 的 分 布 式 部 署 架构 实现 方式 如 图 8-3-7 所 示 。 


Supervisor 


Supervisor 


图 8-3-7 Storm 的 集群 管理 方式 


从 图 8-3-7 可 以 看 出 ，Storm 采用 三 级 管理 方式 。 第 一 级 是 Nimbus， 根 据 集群 资源 的 
占用 情况 进行 资源 分 配 和 调度 ， 第 二 级 为 Zookeeper，Zookeeper 为 动物 管理 员 的 意思 ， 负 
责 维护 集群 配置 信息 、 分 布 式 同步 以 及 分 组 等 工作 ; 第 三 级 为 Supervisor，Supervisor 负责 
接受 Nimbus 发 来 的 任务 ， 启 动 或 者 停止 Worker 任务 。 

如 果 将 Storm 的 集群 管理 模式 与 企业 管理 模式 对 比 ， 那 么 Nimbus 则 相当 于 企业 的 
CEO， 在 企业 全 局 层面 上 分 配 和 调度 人 、 财 、 物 等 资源 ，Zookeeper 则 相当 于 企业 的 分 管 
副 总 ， 负 责 对 各 个 职能 部 门 的 工作 进行 同步 ， 以 保证 企业 能 够 按 步 邓 、 有 序 地 完成 任务 ， 
而 Supervisor 则 相当 于 各 个 职能 部 门 的 经 理 , 负责 传达 CEO 的 命令 ,比如 开始 干 活 或 者 停 
止 干 活 ; Worker 则 相当 于 企业 的 基层 员工 ， 负 责 根据 职能 部 门 经 理 的 要 求 完 成 指定 的 
工作 。 

除了 开源 框架 Storm 和 Spark 之 外 , 还 包括 许多 分 布 式 实 时 流 式 计算 技术 , 例如 Yahoo 
的 S4 (Simple Scalable Streaming System)、IBM 的 StreamBase、 微 软 公司 的 TimeStream， 
Facebook 的 Data Freeway and Puma 等 。 


8.3.5 数据 统计 分 析 技术 


Hadoop/HBase 等 NoSQL 数据 库 虽 然 能 够 通过 集群 方式 存储 大 规模 数据 ， 但 是 基于 大 
规模 数据 进行 统计 分 析 还 需要 借助 专业 的 统计 分 析 工 具 。 
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日 于 统计 分 析 的 专业 软件 工具 包括 SPSS、SAS、Stata、Excel、Matlab、Amos、R 软 


件 等 。 

统计 产品 与 服务 解决 方案 (Statistical Product and Service Solutions，SPSS) 的 特点 是 
简单 易 用 ， 属 于 傻瓜 式 软件 ， 在 国内 的 应 用 最 多 。 

SAS 则 正好 相反 , 通过 编程 可 以 实现 非常 强大 的 功能 , 但 是 比较 难 掌握 , 学 习 周 期 长 ， 
多 用 于 企业 之 中 。 

Stata 则 介 于 SPSS 和 SAS 之 间 ， 既 有 适用 于 菜鸟 的 快速 上 手 功能 ， 又 具备 适用 于 高 手 
的 编程 功能 ， 多 用 于 医学 、 生 物 统计 等 方面 的 研究 ， 在 学 术 界 应 用 广泛 。 

Excel 是 微软 公司 的 产品 ， 非 常 简单 易 用 ， 还 可 以 通过 宏 语 言 编程 实现 数据 统计 功能 ， 
并 且 可 以 将 统计 结果 直接 装载 到 Word 之 中 。 

Matlab 能 够 解决 各 种 各 样 的 数学 计算 问题 ， 是 数学 建 模 的 首选 工具 。 

Amos 可 以 同时 处 理 多 个 变量 ， 无 需 编程 就 可 以 快速 地 实现 统计 分 析 功 能 ， 可 以 检验 
数据 是 否 符合 所 建立 的 模型 以 及 进行 模型 探索 。 

R 软件 是 一 款 GNU 系统 的 开源 软件 ， 其 最 大 的 特点 是 开源 和 免费 ， 通 过 R 语言 进行 
编程 ， 可 以 实现 统计 、 预 测 分 析 以 及 数据 可 视 化 功能 。 此 外 ，R 软件 采用 命令 行 格式 ， 可 
以 集成 非常 多 的 数据 源 。 自 2010 年 开始 ，Oracle 数据 管理 软件 开始 支持 RR 语言 , 显示 了 R 
语言 在 数据 分 析 领 域 的 地 位 和 发 展 潜力 ， 下 面 从 R 软件 的 数据 源 支 持 、 数 据 结构 以 及 应 用 
场景 3 个 方面 进行 介绍 。 

R 软件 集成 的 数据 源 包括 统计 软件 SPSS、SAS， 文 本 文件 XML、ASCII， 结 构 化 数据 
库 Oracle、MySQL 等 ， 如 图 8-3-8 所 示 。 


统计 软件 
SPSS T Stata 


Oracle | SQL Er 


数据 库 管理 系统 


图 8-3-8 R 软件 数据 源 


283 | 


大 数据 运营 
服务 型 企业 架构 新 思维 
及 语言 的 数据 结构 包括 向 量 (Vector)、 和 矩阵 (Matrix)、 数 组 (Array)、 数 据 框 (Data Frame) 
和 列表 (List)， 通 过 这 些 数据 结构 来 存储 数据 。 
向 量 (Vector) 为 一 维 阵列 。 和 矩阵 (Matrix) 为 二 维 阵列 。 数 组 (Array) 与 矩阵 类 似 ， 
区 别 是 可 以 支持 多 维 列 。 数 据 框 (Data Frame) 同样 与 矩阵 类 似 ， 不 同 之 处 是 不 同 列 可 以 
存储 不 同 的 数据 类 型 ， 与 数据 库 中 的 数据 表 类 似 。 以 上 数据 结构 支持 数字 、 字 符 和 逻辑 3 
种 数据 类 型 。 
向 量 (Vector)、 和 矩阵 (Matrix)、 数 组 (Aray)、 数 据 框 (Data Frame) 和 列表 (List) 
的 数据 结构 如 图 8-3-9 所 示 。 


向 量 ( Vector ) 和 矩阵 (Matrix ) 数组 (Array) 


i | 


数据 框 (Data Frame ) 向 量 (Vector ) 
和 矩阵 (Matrix ) 

列表 (List) 
数组 (Array ) 列表 


数据 框 (Data Frame) 
图 8-3-9 R 语言 数据 结 


R 软件 的 最 大 特点 是 支持 回归 分 析 。 世 界 是 普遍 联系 的 ， 通 过 回归 分 析 ， 可 以 发 现 事 
物 之 间 的 联系 。 

回归 分 析 包 括 线性 分 析 和 多 元 分 析 两 种 类 型 。 线 性 分 析 比 较 简 单 ， 用 于 分 析 某 个 自 变 
量 对 于 因 变 量 的 影响 。 多 元 分 析 则 是 分 析 多 个 自 变量 对 于 因 变 量 的 影响 。 

线性 分 析 的 例子 包括 广告 费用 与 销售 额 的 关系 、 预 估价 格 与 实际 销售 价格 的 关系 、 设 
备 使 用 年 限 与 设备 费用 的 关系 ， 等 等 。 

多 元 分 析 的 例子 包括 卡路里 消耗 与 运动 时 长 、 平 均 速度 (mph)、 年 龄 、 性 别 、 平 均 心 
率 、 身 体质 量 指数 (BMD 的 关系 ， 人 口 自然 增长 率 与 国民 总 收入 〈 亿 元 )、 居 民 消 费 价 格 指 
数 增长 率 (CPI)、 人 均 GDP (元 ) 的 关系 ， 病 虫 与 峨 量 、 卵 量 、 降 水 量 、 十 日、 幼虫 密度 
的 关系 ， 等 等 。 

统计 分 析 工 具 能 够 帮助 用 户 构 建 数据 模型 ， 集 成 不 同 来 源 不 同 格式 的 数据 ， 让 统计 分 
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析 结 果 更 加 直观 ， 发 现 数据 背后 隐藏 的 规律 ， 但 在 工具 使 用 的 过 程 中 ， 往 往 需 要 分 析 人 员 
结合 自身 经 验 来 判断 数据 模型 设计 是 否 合理 。 
此 外 ，R 软件 等 统计 分 析 工 具 虽 然 具 有 强大 的 统计 、 预 测 分 析 以 及 数据 可 视 化 能 力 ， 
但 是 其 数据 基础 仅仅 是 处 于 大 规模 数据 内 部 的 样本 数据 ， 因 此 需要 将 统计 分 析 软 件 与 
Hadoop、HBase 等 大 规模 数据 管理 软件 结合 起 来 。Hadoop、HBase 等 大 规模 数据 管理 软件 
负责 存 取 海 量 数据 并 形成 统计 分 析 软 件 所 需 的 样本 数据 ，R 软件 等 统计 分 析 软 件 则 专注 于 
数据 建 模 、 统 计 以 及 数据 可 视 化 工作 。 


8.4 大 数据 展示 技术 


从 多 个 维度 、 多 个 视角 、 全 方位 、 直 观 地 发 现 大 数据 背后 隐藏 的 规律 ， 相当 于 大 数据 挖 据 的 “最 
后 一 公里 ”。 


“一 图 胜 千言 ” 图 形 让 人 们 更 加 直观 地 发 现 大 数据 背后 隐藏 的 规律 。 随 大 数据 展现 技 
术 可 以 从 多 个 维度 、 多 个 视角 、 全 方位 、 直 观 地 发 现 大 数据 背后 隐藏 的 规律 ， 对 于 大 数据 
服务 具有 非常 重要 的 价值 ， 相 当 于 大 数据 挖掘 的 “最 后 一 千 米 ”。 

按照 数据 展示 的 方式 ， 将 展示 技术 分 为 Web 展示 技术 、GIS 展示 技术 以 及 移动 客户 端 
展示 技术 。 

Web 展示 技术 采用 B/S 系统 架构 ,B 就 是 Web 浏览 器 (Browser), S 就 是 服务 器 (Server)。 
目前 支持 B/S 结构 的 主流 架构 为 JEE 和 .NET 两 种 ,JEE 通过 JSP 进行 动态 网 页 的 展示 处 理 ， 
而 .NET 通过 ASP 进行 动态 界面 的 展示 处 理 ，JSP 和 ASP 返回 给 Web 浏览 器 的 结果 都 是 
HIML 。 

GIS 是 基于 地 理 信息 的 展示 技术 ， 从 空间 角度 展示 ， 展 示 效 果 更 加 直观 ， 更 容易 激发 
创造 性 思维 。 

移动 客户 端 技术 就 是 在 移动 终端 上 展示 的 技术 ， 与 桌面 客户 端 相 比 ， 移 动 客户 端的 界 
面 通常 要 小 ,因此 与 桌面 客户 端 有 不 一 样 的 展示 要 求 。 此 外 ,移动 智能 终端 还 具有 随身 性 ， 
可 以 实时 记录 使 用 者 的 位 置 。 定 位 技术 与 GIS 技术 结合 ， 可 以 实时 地 展示 人 和 物 的 运动 轨 
迹 。 目 前 主流 的 移动 客户 端 包括 Android( 安 卓 ) 和 iOS 两 种 。 
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8.4.1 Web 展示 技术 


Web 展示 的 基础 语言 为 超 文本 标记 语言 (Hyper Text Markup Language, HIML)。HTML 
是 一 种 有 Web 浏览 器 解释 并 展示 的 语言 ， 经 过 5 次 重大 的 修改 ，W3C (万 维 网 联盟 ) 推出 
了 旨 在 使 Web 开发 更 简单 高 效 的 HIML5。 

HTML5 具有 跨 平台 、 自 适应 、 即 时 更 新 等 优点 ， 受 到 谷歌 、 荚 果 等 公司 的 支持 ， 成 
为 事实 上 的 网 络 标准 。 

Web 技术 架构 主要 包括 由 Sun 公司 推出 的 基于 Java 的 Java 企业 版 (Java Enterprise 
Edition，JEE) 和 微软 公司 推出 的 .NET 两 种 类 型 。JEE 的 特点 是 基于 跨 平 台 的 Java 构建 ， 
可 以 引入 各 种 开源 技术 和 框架 ,而 .NET 则 是 基于 微软 的 自 有 平台 构建 的 ,开放 性 差 。 近 年 
来 ，JEE 因 其 开放 性 和 跨 平 台 性 而 得 以 广泛 应 用 ， 下 面 主要 分 析 JEE 架构 。 

JEE 架构 基于 Java 虚拟 机 构建 ， 而 Java 虚拟 机 屏蔽 了 操作 系统 的 异 构 性 ， 因 而 基于 
JEE 架构 构建 的 应 用 具有 在 多 种 不 同 操 作 系 统 平台 运行 的 特点 ， 理 论 上 讲 ，Java 程序 可 以 
实现 “一 次 编译 ， 到 处 运行 ”的 效果 ， 而 实际 上 ， 由 于 不 同 操作 系统 平台 之 间 存 在 一 些 差 
异 ， 因 此 基于 Java 的 软件 代码 在 不 同 的 操作 系统 平台 上 还 需要 做 一 些 适 应 性 修改 。 当 然 ， 
这 些 修改 的 工作 量 要 比重 新 编写 软件 小 得 多 。 

JEE 技术 架构 由 多 种 语言 和 工具 组 成 ， 主 要 包括 Java、HTML、JSP、JavaScript、CSS、 
JavaBean、EJB 以 及 开源 框架 SSH (Struts、Spring、Hibermate) 等 。JEE 总 体 技术 架构 如 
图 8-4-1 所 示 。 

从 图 8-4-1 的 JEE 总 体 架 构 可 以 看 出 : HTML、JavaScript、CSS、JSP 属于 View 层 ， 
基于 Web 中 间 件 实现 Web 业务 逻辑 的 Servlet 属于 Control 层 ， 而 JavaBean、EJB 则 属于 
Model 层 。 开 源 框 架 Structs 位 于 Control 层 。 开 源 框架 Hibernate 位 于 Model 层 ， 衔 接 关 系 
型 数据 库 和 Java 对 象 。Spring 开源 框架 是 一 个 容器 ,用 于 管理 bean 对 象 ， 不 属于 MVC 设 
计 模 式 的 任何 一 层 。 

如 果 对 JEE 表现 层 进行 细 分 ， 那 么 HIML 负责 View 层 的 界面 展现 ，JavaScript 负责 
View 层 的 界面 逻辑 控制 ，CSS 负责 View 层 的 界面 模型 ，HIML、JavaScript、CSS 又 按照 
MVC 模式 进行 了 细 分 。 

目前 , 主流 的 Web 浏览 器 包括 微软 公司 的 正 、 蔷 果 公 司 的 Safari、 谷 歌 公司 的 Chrome 
以 及 开源 社区 Mozilla 的 Firefox。 
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Oracle 
@ JavaBean MySQL 
HBase 
| 等 

© [Hibemaea 
界面 层 表现 层 控制 层 | 模型 层 持久 层 


Web 浏 览 器 Web 容 器 分 布 式 数据 库 
(IE、 火 狐 等 ) (WebLogic 、Tomcat 等 ) (Oracle 、HBase 等 ) 


图 8-4-1 JEE Web 总 体 技术 架构 


Web 界面 通常 采用 表格 和 图 形 两 种 方式 来 展示 统计 分 析 结 果 。 表 格 形式 展示 的 数据 非 
常 详细 , 但 不 直观 、 形 象 , 图 形 方式 则 可 以 直观 、 形 象 地 展现 统计 结果 。FusionCharts, eCharts 
等 Flash 控件 ,通过 网 页 嵌入 的 方式 ， 以 XML 格式 的 统计 数据 为 输入 ， 以 图 形 方式 展现 统 
计 结 果 。Flash 控件 支持 的 图 形 包括 2D/3D 柱状 图 、 曲 线 图 、2D/3D 饼 图 、2D/3D 环 图 、 
区 域 图 、 堆 栈 图 、 联 合 图 等 。 

下 面 是 一 个 Flash 控件 显示 统计 结果 的 例子 , 简要 说 明了 JEE 架构 中 使 用 Flash 控件 展 
示 统 计 结 果 的 方法 和 过 程 。 

首先 ， 在 JSP/HTML 中 通过 JavaScript 加 载 用 于 显示 统计 结果 的 控件 (比如 
FusionCharts)， 并 在 JSP/HTML 界面 上 放置 统计 功能 按钮 ， 并 通过 预先 定义 的 回调 函数 
(CallBack) 接收 返回 的 结果 。 

其 次 , 当 浏览 器 页 面 发 送 统计 请 求 后 , 请 求 会 调用 服务 器 端的 JavaBean 对 象 , JavaBean 
对 象 再 通过 JDBC 的 方式 从 数据 库 〈 比 如 MySQL) 中 获取 统计 数据 ， 将 统计 结果 拼装 成 
XML 文件 并 返回 到 预先 定义 的 回调 函数 〈CallBack )。 

最 后 ,将 返回 结果 赋值 给 Flash 控件 后 , 执行 界面 刷新 ,就 可 以 在 Web 界面 上 看 到 Flash 
控件 展示 的 统计 结果 了 。 

以 上 就 是 一 个 借助 Flash 控件 展示 统计 结果 的 简单 过 程 ， 如 果 统 计 对 象 与 空间 信息 有 
关 ， 则 可 以 借助 GIS 技术 完成 统计 结果 的 展示 。 
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8.4.2 ”GIS 展示 技术 


GIS 是 Geographic Information System 或 Geo-Information System 的 缩写 ， 中 文 为 地 理 
信息 系统 。 

随 着 GIS 技术 的 发 展 ，GIS 在 社会 各 行 各 业 得 到 越 来 越 广泛 的 应 用 。GIS 应 用 的 领域 
可 以 分 为 社会 公共 事业 管理 、 企 业 生产 运营 、 人 类 生活 3 个 方面 。 

GIS 在 社会 公共 事业 管理 方面 的 应 用 主要 是 自然 资源 的 管理 ， 例 如 土地 利用 规划 、 森 
林 管 理 、 野 生动 物 栖息 地 分 析 、 河 滨 地 带 监测 、 自 然 灾害 评估 等 。 

GIS 在 企业 生产 运营 方面 的 应 用 主要 包括 营销 渠道 分 析 、 通 信 网 络 分 析 、 企 业 物 流 网 
络 分 析 、 市 场 分 析 等 。 

GIS 在 人 类 生活 方面 的 应 用 主要 在 交通 出 行 方面 ， 比 如 交通 实时 路 况 查看 、 旅 游 景 点 
人 流 分 析 以 及 与 GPS 技术 结合 的 自驾 导航 等 。 随 着 移动 终端 技术 、 移 动 通 信 技 术 以 及 互联 
网 技术 的 不 断 发 展 ， 在 人 类 生活 方面 将 会 产生 越 来 越 多 的 创新 型 GIS 应 用 。 

GIS 数据 的 特殊 性 在 于 其 数据 基础 为 地 理 空间 数据 。GIS 数据 与 他 其 数据 管理 过 程 类 
似 ， 同 样 包括 数据 建 模 、 数 据 维护 、 统 计 分 析 几 个 阶段 。 下 面 就 分 别 介绍 GIS 在 数据 建 模 、 
数据 维护 、 数 据 查 询 统计 与 展示 3 个 方面 涉及 的 关键 技术 原理 和 实现 方法 。 


1. GIS 数据 建 模 方法 


GIS 数据 建 模 方法 包括 矢量 法 和 栅 格 法 两 种 。 矢 量 法 擅长 对 离散 数据 建 模 ， 栅 格 法 擅 
长 对 连续 数据 建 模 ， 在 实际 应 用 中 需要 根据 建 模 对 象 的 特点 采用 适用 的 建 模 方法 。 

1) 矢量 数据 建 模 法 

矢量 法 采用 〈xy) 坐标 和 点 、 线 、 面 《多边形 ) 代表 空间 要 素 ， 比 如 点 可 以 代表 某 个 
污水 井盖 ， 线 可 以 代表 某 条 道路 或 者 河流 ， 面 则 可 以 代表 某 块 菜 地 或 者 果园 。 矢 量 元 素 如 
图 8-4-2 所 示 。 

矢量 数据 为 离散 型 数据 ， 可 以 不 受 分 辨 率 的 影响 ， 不 因为 图 形 的 放大 、 缩 小 或 者 旋转 
等 而 失真 。 

矢量 数据 分 为 拓扑 和 非 拓扑 两 类 。 拓 扑 需 要 精确 表达 要 素 之 问 的 空间 关系 ， 而 非 拓扑 
则 不 需要 精确 表达 。 因 此 ， 非 拓扑 数据 比 拓扑 数据 显示 要 快 ， 并 且 可 以 用 于 不 同 的 GIS 软 
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件 。ESRI 公司 采用 图 层 〈Coverage) 表达 拓扑 数据 ， 采 用 shapefile 表达 非 拓 扑 数据 。 


2 一线 
> "=? 
六 | 
点 衬 
\ 面 | 
\ (多 边 形 ) | 
\ | 
\ S| 
b= 


>X 


图 8-4-2 ”基于 坐标 系 的 矢量 元 素 


2) 栅 格 数据 建 模 法 
矢量 数据 模型 虽然 可 以 表达 点 、 线 、 面 (多边形) 等 离散 型 数据 ， 但 是 对 于 海拔 、 降 


上 二 侵蚀 等 连续 性 数据 的 表达 并 不 理想 。 因 此 ， 人 们 提出 了 用 栅 格 或 者 格 网 (Grid 


雨量 、 
Cell) 来 表达 连续 性 数据 的 方法 。 

栅 格 模型 相关 的 概念 包括 高 程 、 坡 度 、 
在 给 定 的 基准 面 〈《 如 地 基 、 地 面 或 海面 ) 以 上 的 垂直 高 度 。 栅 格 数据 与 矢量 数据 的 对 比 关 


坡 向 等 。 高 程 (altitude)， 即 高 的 程度 ， 物 体 


系 如 图 8-4-3 所 示 。 


图 8-4-3” 栅 格 数据 与 矢量 数据 的 对 比 
从 图 8-4-3 可 以 看 出 ， 栅 格 数据 与 矢量 数据 在 表达 点 、 线 、 面 的 方式 上 是 不 同 的 ， 栅 
格 数据 通过 方块 〈 格 网 元 素 ) 来 表达 各 种 图 形 形 状 ， 而 矢量 数据 则 通过 不 同 点 之 间 的 连接 
关系 来 表达 图 形 形 状 。 栅 格 数据 与 矢量 数据 可 以 相互 转化 。 
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矢量 数据 以 对 象 为 描述 基础 ， 栅 格 数据 则 以 域 为 描述 基础 。 用 栅 格 描述 的 对 象 有 卫星 
影像 、 扫 描 地 图 、 图 形 文件 等 。GIS 软件 通常 既 支持 矢量 数据 又 支持 栅 格 数据 的 显示 。 

栅 格 数据 模型 也 称 为 格 网 。 格 网 由 行 、 列 、 格 网 单元 组 成 ， 行 列 从 左上 角 开 始 。 格 网 
单元 的 大 小 决定 了 栅 格 数据 模型 的 分 辩 率 。 单 元 依 序 编码 是 栅 格 编码 的 一 种 方式 ， 如 图 


8-4-4 所 示 。 


第 1 行 : 
第 2 行 : 
第 3 行 ; 
第 4 行 : 
第 5 行 : 
第 6 行 : 
第 7 行 : 
第 8 行 : 
第 9 行 : 


三 
己 


(10,10 ) 


第 10 行 : 


00000 00000 
00001 00100 
000000 0100 
00000 00100 
00000 01000 
00000 01000 
00000 00000 
00000 01000 
00000 00000 
00000 00000 


图 8-4-4” 栅 格 的 单元 依 序 编码 方式 


从 图 8-4-4 可 以 看 出 ， 栅 格 是 以 左上 角 为 坐标 原点 的 。 在 图 8-4-4 的 右 侧 ， 栅 格 通过 1 
或 者 0 来 表示 网 格 单元 内 部 是 否 有 数据 。 在 上 面 的 图 形 示 例 中 ， 通 过 栅 格 表达 了 一 个 像 ? 


的 图 形 。 


网 格 单元 的 大 小 决定 了 栅 格 数据 模型 的 分 辨 率 ， 栅 格 越 小 ， 栅 格 数量 越 多 ， 表 达 的 图 


像 分 辨 率 越 高 ， 当 然 占用 的 存储 空间 也 就 越 大 。 


在 网 格 中 存储 多 个 属性 值 的 方法 是 采用 单元 ID 作为 网 格 值 ， 这 样 就 可 以 通过 该 单元 
ID 获取 到 多 个 属性 值 。 栅 格 数据 模型 难以 表达 空间 要 素 的 精确 位 置 时 ,要 用 矢量 数据 模型 


来 表达 。 
3) 空间 数据 与 属性 数据 


口 数量 、 不 同 种 族 、 性 别 、 教 育 程度 的 人 口 数量 细 分 等 。 
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也 理 数 据 分 为 空间 数据 和 属性 数据 两 种 类 型 ， 空 间 数据 与 地 图 要 素 的 几何 特征 有 关 
〈 比 如 坐标 系 、x 值 、y 值 等 )， 而 属性 数据 则 描述 空间 要 素 的 特征 ， 比 如 某 个 空间 


区 域 的 人 


也 理 数据 的 原点 是 本 初子 午 线 和 赤道 的 交点 ， 经 度 相当 于 坐标 系统 的 x 值 ， 以 本 初子 
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午 线 为 中 界线 ,向 东 或 者 向 西 0” 一 180” ,纬度 相当 于 坐标 系统 的 值 ， 以 赤道 为 中 界线 ， 
向 南 或 者 向 北 0” 一 90”。 

地 理 空间 数据 模型 将 空间 数据 和 属性 数据 分 开 存储 。 空 间 数据 采用 图 形 文件 存储 ， 用 
文件 管理 系统 来 管理 ，Windows 操作 系统 通过 文件 分 区 表 (File Allocation Table，FAT) 进 
行文 件 的 管理 ， 而 Linux 操作 系统 则 通过 Ext3 (延伸 系统 ) 等 管理 文件 。 属 性 数据 则 采用 
Oracle、MySQL 等 关系 型 数据 库 来 存储 和 管理 。 


2. GIS 数据 维护 方法 


空间 数据 的 维护 方法 是 采用 人 工 和 自动 〈 比 如 卫星 数据 ) 相 结合 的 方式 ， 原 因 是 空间 
数据 是 分 散 的 ， 如 果 采 用 人 工 方式 ， 一 来 是 数据 的 准确 性 难以 保证 ， 二 来 是 数据 的 采集 成 
本 高 。 移 动 互联 网 时 代 ， 空 间 数据 的 采集 可 以 采用 众 包 / 众 筹 模式 ， 发 动 全 社会 力量 ， 从 而 
解决 了 因 空 间 数据 分 散 而 难以 采集 的 问题 。 

属性 数据 的 维护 包括 数据 的 输入 和 校 验 。 数 据 输入 可 以 采用 人 工 方式 ， 也 可 以 采用 外 
部 文件 导入 的 方式 。 属 性 数据 的 校 验 分 为 两 种 ， 一 种 是 唯一 性 和 非 空 校 验 ， 另 一 种 是 数据 
准确 性 校 验 。 属 性 数据 可 以 以 地 图 单元 符号 为 关键 字 查 询 关系 型 数据 库 获得 。 


3，GIS 数据 查询 统计 与 展示 


地 图 是 刻画 空间 的 一 种 方式 。 地 图 包括 图 名 、 图 例 、 指 北 针 、 比 例 尺 、 文 字 说 明 、 图 
廓 、 空 间 要 素 等 。 比 例 尺 、 准 确 度 、 精 确 度 是 衡量 地 图 质量 和 能 力 的 几 个 重要 指标 。 

地 图 可 以 通过 图 层 表示 不 同 层次 的 空间 元 素 。 不 同 层次 的 地 图 比例 尺 是 不 一 样 的 ， 地 
图 上 比例 尺 通常 以 厘米 为 单位 ， 比 如 世界 地 图 中 的 国 、 省 、 市 、 街 的 比例 尺 可 以 分 别 为 
1:1000km，1:50km，1:5km，1:200m， 就 是 指 地 图 上 的 lcm 分 别 代表 1000km、50km、5km 
和 200m。 

地 图 可 以 分 为 普通 地 图 和 专题 地 图 。 普 通 地 图 包括 边界 线 、 水 文 、 交 通 、 等 高 线 、 居 
民 点 、 土 地 履 被 等 ， 专题 地 图 包括 人 口 密度 分 布 、 网 络 流量 分 布 、 实 体 渠 道 分 布 等 。 主 流 
的 地 图 软件 包括 谷歌 地 图 、 百 度 地 图 等 。ArcGIS 是 开发 地 图 软件 的 一 款 功 能 强大 的 工具 
软件 。 

可 以 通过 不 同 的 颜色 或 者 颜色 的 深浅 来 表示 不 同 区 域 的 特征 ， 例 如 分 地 域 统计 上 网 流 
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量 ， 直 观 展示 不 同 地 域 在 某 时 间 段 的 总 体 流量 情况 ， 如 图 8-4-5 所 示 。 
空间 数据 查询 是 通过 地 图 要 素 的 操作 从 地 图 上 检索 数据 的 过 程 。 可 以 使 用 指针 、 图 形 
或 者 地 图 要 素 之 间 的 空间 关系 来 选择 地 图 要 素 。 用 于 查询 的 空间 关系 包括 包含 、 相 交 、 邻 
近 。 通 常 采用 空间 数据 和 属性 数据 结合 的 方式 进行 查询 ， 比 如 查询 建筑 物 周 围 半径 为 lm 
的 树木 数量 ， 或 者 查询 某 个 基站 周围 半径 为 3km 的 行政 村 个 数 。 


i > zue 
流量 区 间 X-Y MB 
Ml a M-NMB 
流量 区 间 S-TMB 
Ml a < ANMB 


图 8-4-5 分 省 统计 上 网 流量 


随 着 移动 通信 技术 〈3G/4G)、 全 球 定位 系统 (Global Position System，GPS， 借 助 通 
信 卫 星 定 位 ) 等 技术 的 发 展 ， 基 于 位 置 的 服务 (Location Based Service，LBS) 也 得 到 快速 
的 发 展 。 

LBS 是 定位 技术 与 GIS 结合 的 结果 。 通过 定位 技术 与 GIS 的 结合 ,可 以 开发 出 丰富 的 
LBS, 比如 企业 可 以 通过 LBS 来 推送 商品 促销 信息 ,用 户 可 以 通过 LBS 来 找到 附近 的 商家 、 
加 油 站 、 银 行 网 点 等 ， 公 安 部 门 则 可 以 借助 LBS 找到 嫌疑 犯 的 行踪 。 人 们 在 自驾 旅行 时 用 
的 汽车 导航 系统 是 一 个 典型 的 例子 ,导航 系统 可 以 通过 GPS 来 实时 定位 汽车 的 位 置 ， 并 根 
据 导航 目标 进行 行驶 指示 ， 同时， 导航 系统 借助 3G/4G 等 移动 通信 网 络 下 载 最 新 的 地 图 数 
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据 ， 当 导航 系统 中 没有 目标 位 置 时 ， 也 可 以 去 服务 器 上 检索 。 当 下 流行 的 导航 软件 包括 高 
德 导航 、 腾 讯 导 航 、 百 度 导 航 等 。 


8.4.3 ”移动 客户 端 展示 技术 


移动 终端 是 指 可 以 移动 的 终端 设备 ， 包 括 手 机 、 平 板 电脑 、 导 航 仪 等 ， 移 动 客户 端 则 
是 基于 移动 终端 开发 的 、C/S 结构 的 软件 。 

移动 终端 的 两 大 主流 操作 系统 是 Google 开源 的 安 卓 (Android) 系统 和 苹果 公司 的 iOS 
系统 。 据 数据 分 析 公 司 Strategy Analytics 统计 ,2014 年 第 三 季度 , 安 卓 市 场 占有 率 为 83.6%， 
而 iOS 市 场 占 有 率 为 12.3%。 尽 管 iOS 的 市 场 占 有 率 不 及 安 卓 ， 但 是 iOS 的 用 户 往往 是 一 
些 高 价值 用 户 ， 因 此 iOS 用 户 的 总 体 收入 并 不 低 。 

与 桌面 终端 不 同 的 是 ， 移 动 终端 包括 移动 通信 模块 和 移动 定位 功能 ， 这 使 得 人 们 可 以 
摆脱 时 间 和 空间 限制 ， 实 现 5 个 A 任何 时 间 、 任 何 地 点 、 任 何 终端 ”任何 网 络 、 任 何 数 
据 ) 的 自由 联通 。 此 外 ， 移 动 终端 的 定位 功能 使 得 无 线 电台 〈 基 站、 卫星 等 ) 和 移动 终端 
之 间 保 持 实时 的 位 置 更 新 , 移动 终端 可 以 结合 GIS 系统 构建 各 种 各 样 的 LBS 应 用 ,比如 汽 
车 导航 、 位 置 营销 等 。 

由 于 移动 终端 的 随身 性 ， 在 大 数据 时 代 ， 基 于 移动 互联 网 的 大 数据 服务 将 会 变 得 越 来 
越 重要 ， 企 业 可 以 借助 移动 互联 网 提升 营销 能 力 和 服务 能 力 。 为 了 说 明 移 动 客 户 端 的 实现 
方式 ， 下 面 重 点 分 析 安 卓 平 台 的 架构 。 

安 卓 操作 系统 由 谷歌 公司 领导 和 开发 ， 主 导 思 想 是 开源 和 开放 ， 这 与 谷歌 在 搜索 等 领 
域 采用 的 开源 和 开放 思想 是 相似 的 ， 只 有 通过 开源 和 开放 ， 才 能 调度 全 社会 的 开发 力量 ， 
为 用 户 提供 各 种 创新 型 应 用 ， 才 能 让 安 卓 技术 具有 源源 不 断 的 发 展 动力 和 持久 的 生命 力 。 

安 卓 系统 是 从 Linux 平台 发 展 而 来 的 ， 由 操作 系统 、 中 间 件 、 用 户 界面 和 应 用 软件 组 
成 。 安 卓 系 统 架构 如 图 8-4-6 所 示 。 

从 图 8-4-6 可 以 看 出 ， 安 卓 系 统 自 上 而 下 分 为 5 个 部 分 ， 分 别 为 应 用 、 应 用 框架 、 库 、 
安 卓 运行 时 以 及 Linux 内 核 。 

1. 安 卓 系统 应 用 


包括 电子 邮件 、 短 信 、 地 图 、 浏 览 器 、 通 讯 录 等 。 
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2. 安 卓 系统 应 用 框架 


安 卓 系统 应 用 框架 包括 Activity Manager、Content Providers 、Resource Manager、 
Location Manager、Notification Manager 等 。 


应 用 层 


桌面 应 用 通 计 录 应 用 电话 应 用 浏览 器 应 用 a | 


框架 层 


活动 管理 器 窗口 管理 器 内 容 提供 器 视图 系统 通知 管理 器 | 
安装 包 管理 器 电话 管理 器 资源 管理 器 | 位 轩 管理 器 XMPP 服 务 ] 


运行 时 


图 8-4-6” 安 卓 系 统 总 体 架构 


(1) Activity Manager 活 动 管理 器 ):， 控制 应 用 的 生命 周期 ， 在 用 户 导航 的 时 候 ， 当 
用 户 使 用 其 他 应 用 时 维护 一 个 回 退 栈 ， 即 将 暂 不 使 用 的 应 用 放 到 栈 中 ， 这 样 再 使 用 栈 中 的 
应 用 时 ， 无 须 重启 该 应 用 ， 提 高 了 用 户 访问 应 用 的 效率 。 

(2) Content Providers (内 容 提 供 商 ): 这 些 对 象 封装 了 需要 在 应 用 之 间 共 享 的 数据 ， 
比如 通讯 录 。 

(3) Resource Manager( 资 源 管理 器 )， 资源 是 程序 中 那些 无 须 编码 的 东西 。 

(4) Location Manager〈 位 置 管理 器 ): 安 卓 系 统 总 是 能 够 掌握 自己 所 在 的 位 置 。 

(5) Notification Manager (通知 管理 器 ): 比如 消息 、 任 务 、 告 警 等 事件 ， 以 最 优雅 的 
方式 展示 给 用 户 。 
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3. 安 卓 系统 库 


安 卓 系统 库 支持 上 层 应 用 ， 主 要 包括 Surface Manager、Graphics、Media、SQLite、 
Webkit、Libc、FreeType 等 。 

(1) Surface Manager〈 外 观 管理 器 ): 使 用 与 Vista 类 似 的 组 合 窗口 管理 器 技术 ， 并 且 
更 加 简单 。 不 是 直接 基于 屏幕 缓冲 区 绘制 ， 而 是 将 绘图 命令 深入 到 后 台 的 位 图 ， 然 后 与 其 
他 位 图 合并 后 显示 给 用 户 ， 这 使 得 系统 可 以 构建 任何 有 趣 的 显示 效果 ， 比 如 透视 窗 体 与 动 
画 效果 。 

(2) Graphics〈 图 形 ): 二 维和 三 维 的 元 素 可 以 合并 为 一 个 用 户 界面 。 该 库 会 使 用 具有 
3D 功能 的 硬件 。SGL 为 底层 的 2D 图 形 引擎 。 

(3) Media (媒体 ): 可 以 支持 多 种 格式 的 语音 和 视频 媒体 ， 比 如 AAC、AVC (H.264)、 
H.263、MP3、MPEG-4 等 。 

(4) SQLite (SQL 数据 库 ): 支持 轻 量 级 的 数据 库 引擎 SQLite, 该 数据 库 同样 在 Firefox 
和 苹果 iOS 中 使 用 ， 可 以 实现 应 用 数据 的 持久 化 存储 。 

(5) WebKit (浏览 器 引擎 ): 用 于 显示 HIML 内 容 , 同样 的 引擎 也 应 用 于 谷歌 的 Chrome 
浏览 器 、 苹 果 的 Safari 浏览 器 、 诺 基 亚 的 S60 平台 。 

(6) Libe (C 系统 库 ): 针对 标准 C 系统 库 的 派生 实现 ， 针 对 嵌入 式 Linux 进行 了 调整 。 

(7) FreeType: 针对 位 图 和 矢量 字体 的 泻 染 。 


Dalvik 是 为 移动 终端 专门 打造 的 虚拟 机 。Dalvik 不 同 于 Java 虚拟 机 ， 虽 然 Android 应 
用 采用 Java 语言 ， 但 是 当 Java 应 用 编译 成 .class 文件 后 ， 还 是 需要 通过 工具 将 其 转换 成 能 
够 在 Dalvik 上 运行 的 dex 文件 。 

安 卓 5.0.1 版 本 的 SDK 对 于 网 络 、 多 媒体 、 图 形 、 数 据 库 等 的 支持 如 图 8-4-7 所 示 。 

安 卓 5.0.1 版 本 的 SDK 对 于 显示 、 通 信 网 络 、 系 统 、 安 全 等 方面 的 支持 如 图 8-4-8 
所 示 。 

当前 ， 安 卓 应 用 主流 的 开发 环境 为 EclipsefADT+SDK，Eclipse 是 集成 开发 环境 ， 安 
卓 开 发 工具 (Android Development Tools，ADT) 是 基于 Eclipse 上 实现 快速 开发 安 卓 应 用 
的 插件 ， 开 发 测试 的 工具 包 是 安 卓 SDK。 由 于 Eclipse 是 一 个 通用 的 应 用 开发 平台 ， 在 支 
持 安 卓 应 用 开发 方面 存在 一 些 不 足 ， 为 此 Google 推出 了 自己 的 开发 工具 Android Studio， 
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与 基于 Eclipse 的 安 卓 开发 工具 相 比 ，Google 的 Android Studio 易 用 性 更 好 。 


» mh Android SO1 rg 
4 EB androidjar - DiadnsdlNplatformsvandroid-21 | ， 击 android.hardware.camera2 


|， 击 androidhardware cameraz.params 


rp 
出 androidgraphicsdrawable 
， 则 android.graphics.drawable.shapes 


图 8-4-7 Android SDK 对 于 网 络 、 图 形 、 


上 二 androidos 
二 android osstnrngn 
?二 android.preference 


?二 android test.suitebuilder 
» Bandroid:test.suitebuilderannotation 


图 8-4-8 Android SDK 对 于 安全 、 通 信 和 网络、 显示、 系统 等 方面 的 支持 
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苹果 的 iOS 系统 采用 了 与 谷歌 的 安 卓 系统 不 同 的 商业 模式 ， 安 卓 系统 开源 开放 ， 强 调 
开放 和 共同 参与 ， 而 苹果 iOS 系统 则 正好 相反 ，iOS 是 一 款 全 封闭 的 移动 终端 操作 系统 ， 
iOS 操作 系统 完全 由 苹果 公司 自己 控制 。 苹 果 公司 之 所 以 这 样 做 ， 完 全 是 为 了 通过 对 于 操 
作 系 统 细节 的 管控 ， 实 现 完美 的 用 户 体验 。 


8.5 主要 内 容 回顾 


企业 要 实现 基于 大 数据 的 运营 ， 大 数据 相关 技术 起 到 至 关 重 要 的 作用 。 

不 同 于 支持 事务 型 应 用 的 技术 , 大 数据 技术 具有 自身 的 特殊 性 , 分 别 体现 在 数据 存储 、 
数据 分 析 以 及 数据 展示 3 个 方面 。 

1. 大 数据 存储 技术 总 结 


在 数据 存储 方面 ， 大 数据 具有 数据 容量 大 并 且 随 着 时 间 的 变化 数据 量 持续 增长 的 特 
点 ， 因 此 要 求 数据 库存 储 系 统 能 够 做 到 存储 空间 的 线性 扩展 ， 这 样 就 不 会 出 现 因为 存储 空 
间 不 足 而 影响 系统 整体 性 能 的 问题 。 

以 HDFS 为 代表 的 分 布 式 文件 系统 ， 将 数据 文件 放 入 主机 内 部 的 磁盘 上 ， 而 不 是 像 传 
统 方式 那样 放 到 独立 的 磁盘 阵列 中 ， 同 时 以 数据 块 为 存 取 单 位 而 不 是 字 节 ， 从 而 提高 了 数 
据 存 取 的 效率 。 每 个 数据 存储 节点 都 是 分 布 式 存储 系统 的 一 个 节点 ， 节 点 之 间 互 不 影响 
因此 可 以 做 到 存储 空间 的 线性 扩展 。 

当然 HDFS 也 存在 着 不 足 ， 由 于 各 个 存储 节点 都 是 独立 的 ， 如 果 想 关联 多 个 存储 文件 
的 内 容 ， 需 要 遍历 多 个 主机 节点 ， 效 率 很 低 ， 因 此 主要 适合 面向 数据 表 之 间 关 联 度 低 的 分 
析 型 应 用 。 

基于 关系 代数 理论 的 关系 型 数据 库存 储 系统 与 分 布 式 文件 系统 不 同 ， 关 系 型 数据 库存 
储 系统 基于 单机 模式 发 展 起 来 ， 擅 长 多 个 数据 表 之 间 的 关联 分 析 ， 但 关系 型 数据 库 的 不 足 
之 处 是 数据 库 扩展 性 差 ， 虽 然 采 用 集群 方式 提高 了 数据 库 系 统 的 扩展 性 ， 但 是 受 限 于 集中 
控制 模式 的 限制 ， 数 据 库 扩展 性 非常 有 限 ， 并 且 随 着 集群 规模 的 不 断 增 大 ， 存 储 系统 整理 
性 能 急剧 下 降 ， 无 法 做 到 线性 扩展 。 
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2. 大 数据 分 析 技术 总 结 


在 数据 分 析 方 面 ， 从 数据 分 析 的 实时 性 角度 分 为 离线 分 析 和 实时 流 式 分 析 两 类 ， 从 数 
据 分 析 的 模式 角度 分 为 大 数据 MapReduce 分 析 和 关系 型 数据 库 分 析 两 种 类 型 , 从 数据 建 模 
角度 分 为 大 规模 数据 分 析 和 基于 样本 数据 的 分 析 两 类 。 

离线 分 析 技 术 适 用 于 实时 性 要 求 不 高 的 场景 ， 特 点 是 支持 的 数据 规模 大 。 实 时 流 式 分 
析 可 以 快速 地 完成 数据 的 统计 ， 但 是 仅仅 适合 于 完成 海量 数据 某 一 个 侧面 的 计算 ， 比 如 用 
户 偏好 画像 、 搜 索 关 键 字 统计 等 。 

大 数据 计算 模型 以 MapReduce 最 为 经 典 。MapReduce 算法 由 谷歌 公司 发 明 , 好 比 高 等 
数学 里 面 的 微 积 分 。 首 先 将 大 文件 “微分 ”为 多 个 小 的 数据 块 并 存 入 HDFS 集群 中 ， 然 后 
再 通过 MapReduce 完成 对 “微分 ”数据 的 “积分 ”。Map 负责 以 映射 的 方式 提取 分 散在 大 
数据 集群 中 的 数据 项 ，Reduce 则 负责 对 排序 后 的 统计 数据 进行 聚合 ( 求 和 、 求 均值 等 ) 输 
出 。MapReduce 计算 模型 特别 适合 对 分 布 式 文件 系统 中 的 统计 分 析 。 

MapReduce 计算 模型 之 所 以 能 够 满足 海量 数据 的 统计 ， 根 源 在 于 被 统计 文件 虽然 规模 
大 , 但 是 采用 列 式 存 储 方式 , 原始 数据 具有 共同 的 数据 特征 ,而 关系 型 数据 是 按 行 存 取 的 ， 
每 一 行 中 不 同 列 的 数据 特征 都 不 一 样 ， 要 完成 数据 的 统计 需要 扫描 所 有 行 ， 因 此 面向 海量 
数据 时 的 统计 效率 低 ， 只 能 通过 分 区 、 索 引 等 方式 将 数据 规律 性 布 放 ， 提 高 数据 的 存 取 
效率 。 

尽管 MapReduce 计算 模型 非常 强大 , 但 是 如 何 实现 统计 功能 需要 编程 实现 , 而 开源 工 
具 R 软件 采用 命令 行 方 式 ， 可 以 快速 完成 数据 建 模 、 统 计 分 析 以 及 可 视 化 工作 。R 软件 的 
优势 是 能 够 快速 调整 模型 、 快 速 见 到 分 析 结 果 ， 不 足 之 处 是 对 于 海量 数据 的 分 析 能 力 差 ， 
因此 需要 将 Hadoop/MapReduce 计算 模型 与 R 软件 结合 起 来 ，R 软件 侧重 基于 样本 数据 构 
建 分 析 模 型 ， 而 MapReduce 则 侧重 于 为 R 软件 提供 样本 数据 。 


3. 大 数据 展示 技术 总 结 


“一 图 胜 千言 >， 大 数据 分 析 结 果 如 果 以 表格 形式 来 展现 统计 报表 结果 ， 则 很 难 发 现 数 
据 背后 隐藏 的 规律 ， 原 因 是 客户 世界 中 不 同事 物 之 间 的 联系 并 不 是 线性 的 ， 而 是 网 状 的 。 
按照 分 析 结 果 展 示 的 形式 ， 将 大 数据 展示 技术 分 为 Web 展示 技术 、GIS 展示 技术 以 及 
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大 数据 技术 : 他 山 之 石 ， 可 以 攻 玉 
移动 客户 端 展示 技术 3 种 类 型 。 
Web 展示 技术 是 最 简单 、 最 传统 的 展示 技术 , 它 借助 Web 浏览 器 和 图 形 控件 展示 统计 
分 析 结 果 。Flash 控件 是 当下 流行 的 Web 展示 技术 ，Flash 控件 提供 了 统计 结果 数据 的 注入 
接口 ， 可 以 以 2D、3D 形式 展示 柱状 图 、 饼 图 、 地 图 等 多 种 统计 图 形 。 
GIS 展示 技术 侧重 于 展示 具有 空间 特性 的 对 象 ， 比 如 河流 湖泊 、 交 通路 线 、 通 信 网 络 
等 。 基 于 GIS 技术 展示 统计 结果 ， 更 具有 现实 感 ， 更 能 够 激发 创造 性 。GIS 展示 技术 与 定 
位 技术 相 结合 ， 会 形成 多 种 基于 位 置 的 创新 型 应 用 。 
移动 客户 端 展示 技术 主要 考虑 移动 终端 屏幕 大 小 和 用 户 位 置信 息 ， 由 于 移动 终端 的 随 
身 性 ， 与 GIS 相 结合 则 能 够 直观 地 掌握 用 户 的 运动 轨迹 ， 可 以 定位 地 理 空间 的 目的 地 以 及 
到 达 该 目的 地 的 路 线 。 
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1. 服务 型 企业 、 制 造型 企业 


服务 型 企业 以 提供 无 形 的 服务 为 主 ， 制 造型 企业 则 以 提供 有 形 的 产品 为 主 。 例 如 ， 电 
信 运 营 商 提供 信息 通信 服务 、 商 业 银 行 提供 存 贷款 服务 ， 它 们 都 属于 服务 型 企业 ， 而 像 农 
业 机 械 设备 制造 厂 、 飞 机 制造 三 等 企业 ， 为 客户 提供 的 是 有 形 的 零件 或 者 设备 ， 因 此 属于 
制造 型 企业 。 

本 书 中 所 述 的 理论 和 方法 主要 适用 于 服务 型 企业 。 


2. 架构 、 框 架 


架构 侧重 某 个 系统 的 全 局 和 整体 ， 比 如 盖 房 子 需要 在 架构 设计 方案 中 明确 骨架 及 其 连 
接 关 系 。 框 架 则 是 架构 中 某 个 特定 的 部 分 ， 比 如 一 扇 窗户 是 一 间 房 子 的 一 部 分 ， 那 么 窗户 
的 造型 设计 可 以 认为 是 一 个 框架 。 


3. 业务 、 服 务 


广义 的 业务 是 指 企业 生产 经 营 中 需要 处 理 的 事务 ， 狭 义 的 业务 是 指 企业 能 够 为 客户 提 
供 的 能 力 ， 例 如 电信 运营 商 为 客户 提供 的 业务 包括 语音 业务 、 数 据 业务 等 。 广 义 的 服务 是 
为 对 方 做 事 ， 并 使 对 方 从 中 获 益 的 一 种 有 偿 或 者 无 偿 的 活动 ， 狭 义 的 服务 是 指 一 种 抽象 的 
能 力 ， 由 于 服务 是 抽象 的 ， 可 以 摆脱 资源 不 灵活 的 限制 。 例 如 ， 电 信 运 营 商 把 各 种 资源 抽 
象 成 服务 ， 这 些 服务 再 通过 封装 ， 形 成 各 种 各 样 的 能 力 。 服 务 的 目标 不 同 ， 其 关注 点 就 不 
同 ， 可 以 将 服务 分 为 面向 客户 的 服务 和 面向 资源 的 服务 ， 面 向 客户 的 服务 主要 关注 市 场 价 
值 属 性 ， 而 面向 资源 的 服务 则 主要 关注 使 用 属性 。 
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4. 职能 、 过 程 


职能 对 应 英文 的 Function， 也 可 以 理解 为 功能 ， 过 程 对 应 英文 的 Process， 由 于 历史 原 
因 ，Process 在 许多 情况 下 被 翻译 成 “流程 ”并 被 广泛 使 用 。 实 际 上 ， 将 Process 翻译 成 “过 
程 ” 更 为 合适 ,“ 流 程 ”的 英文 单词 应 当 为 flow。 过 程 是 从 时 间 、 顺 序 上 看 待 事物 ， 相 当 
于 思维 时 空 在 时 间 轴 上 的 投影 。 流 程 则 是 更 一 般 的 用 语 ， 比 过 程 更 具体 。 为 了 统一 术语 ， 
本 文 将 Process 统一 翻译 成 “过 程 ” 例如 Business Process Framework 翻译 成 “业务 过 程 杠 
架 ” 而 不 是 “业务 流程 框架 ”。 


5. 业务 过 程 、 应 用 、 功 能 


业务 过 程 是 采用 面向 过 程 的 思维 方式 对 业务 活动 的 定义 。 业 务 过 程 从 动态 角度 定义 业 
务 活动 ， 在 业务 活动 执行 过 程 中 会 形成 静态 信息 ,信息 是 业务 的 “概念 ”， 对 信息 需求 进行 
建 模 会 形成 概念 模型 。 

广义 的 应 用 是 用 户 使 用 信息 系统 获取 到 的 服务 ， 比 如 ， 腾 讯 公司 推出 的 微 信 就 是 一 种 
移动 即时 消息 应 用 ， 许 多 软件 服务 可 以 放 到 应 用 商店 中 ， 供 用 户 下 载 、 安 装 和 使 用 。 狭 义 
的 应 用 为 介 于 业务 和 技术 之 间 的 IT 能 力 , 应 用 的 主要 目的 是 为 业务 人 员 和 技术 人 员 提 供 中 
介 物 , 业务 人 员 可 以 提出 开发 一 个 支持 促销 活动 的 应 用 , 而 技术 人 员 则 需要 根据 应 用 需求 ， 
设计 、 开 发 并 实现 支持 促销 活动 的 应 用 。 

与 应 用 相 比 ， 功 能 更 加 基体 和 细微 ， 比 如 币 信 应 用 中 包括 多 个 具体 的 功能 点 ， 如 微 信 
内 容 浏览 功能 、 小 视频 上 传 功能 等 。 


6. 业务 过 程 框架 、 信 息 框架 、 应 用 框架 、 集 成 框架 


业务 过 程 框架 是 对 企业 所 有 企业 活动 的 管理 。 时 间 维 度 包括 战略 、 基 础 设施 、 产 品 、 
运营 支持 与 就 绪 、 服 务 履 行 、 服 务 保障 、 服 务 计 费 和 收入 管理 几 个 阶段 。 空 间 维 度 包括 市 
场 、 客 户 、 产 品 、 服 务 、 资 源 、 供 应 商 、 合 作 伙伴 几 个 部 分 。 

信息 框架 是 对 企业 信息 进行 管理 。 信 息 框架 同样 可 以 分 为 市 场 、 客 户 、 产 品 、 服 务 、 
资源 、 供 应 商 、 合 作 伙伴 几 个 域 ， 然 后 再 使 用 分 层 的 方式 进行 细 分 。 信 息 框架 对 应 概念 模 
型 ， 概 念 模型 就 是 在 需求 分 析 和 设计 时 使 用 的 实体 关系 模型 ， 实 体 关 系 模型 是 从 静态 结构 
的 角度 对 业务 需求 的 刻画 。 
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应 用 框架 是 对 应 用 管理 的 一 种 模式 。 应 用 框架 与 业务 过 程 框架 非常 相似 ， 是 业务 过 程 
框架 和 信息 框架 向 IT 实现 的 一 种 收敛 。 应 用 框架 体现 了 软件 复 用 的 思想 , 将 一 些 通用 的 应 
用 提取 出 来 ， 比 如 日 志 管理 、 安 全 管理 等 。 此 外 ， 应 用 框架 还 包括 IT 基础 设施 通用 能 力 部 
分 ， 比 如 业务 流程 管理 、 企 业 服 务 总 线 、 工 作 流 等 。 

集成 框架 是 对 业务 过 程 框架 、 信 息 框架 、 应 用 框架 的 集成 。 业 务 过 程 框架 提供 动态 的 
业务 服务 , 信息 框架 提供 静态 的 实体 服务 , 应 用 框架 则 提供 公共 的 通用 服务 。 在 业务 层面 ， 
集成 框架 通过 业务 服务 (Business Service) 的 方式 实现 业务 过 程 的 标准 化 和 集成 ， 支 持 面 
向 价值 网 络 的 企业 。 在 技术 层面 ， 集 成 框架 则 体现 了 系统 或 者 平台 之 间 的 集成 接口 ， 包 括 
API、 数 据 库 、Web Service、 文 件 等 集成 接口 方式 。 


7. 面向 操作 的 事务 型 应 用 、 面 向 决策 的 分 析 型 应 用 


从 应 用 对 数据 的 处 理 行为 角度 看 ,操作 型 应 用 对 数据 主要 执行 增加 、 删 除 、 修 改动 作 ， 
而 分 析 型 应 用 对 数据 主要 执行 查询 、 统 计 动作 。 从 应 用 支撑 的 目标 角度 看 ， 操 作 型 应 用 主 
要 满足 企业 日 常 的 建设 、 生 产 、 运 营 和 管理 需要 ， 比 如 企业 的 客户 关系 管理 系统 、 计 费 账 
务 系统 、 办 公 自 动 化 系统 等 ， 分 析 型 应 用 主要 满足 企业 生产 经 营 过 程 中 战略 、 战 术 、 操 作 
层面 的 决策 。 从 数据 的 特点 看 ， 操 作 型 应 用 通常 是 操作 单个 数据 ， 数 据 总 量 小 ， 而 分 析 型 
应 用 则 通常 操作 批量 数据 ， 数 据 通常 是 长 期 积累 的 历史 数据 ， 数 据 总 量 大 。 


8. ODS、 数 据 仓库 、 数 据 集 市、 商业 智能 、 大 数据 


ODS (Operational Data Store ) 是 操作 型 数据 存储 , 数据 来 源 于 面向 操作 的 事务 型 应 用 ， 
存储 内 容 为 事务 细节 数据 ， 组 织 通 过 对 来 自 不 同业 务 系统 数据 的 采集 与 整合 ， 实 现 数 据 查 
询 和 统计 分 析 功 能 。ODS 与 操作 型 应 用 产生 的 数据 分 开 存 储 和 管理 ， 可 以 降低 业务 系统 的 
查询 压力 。 

数据 仓库 (Data Warehouse) 是 对 大 量 数据 存储 的 一 个 形象 化 概念 ， 意 味 着 对 多 种 数 
据 的 存放 。 数 据 仓库 之 父 比 尔 * 恩 门 (BL Inmon) 将 数据 仓库 定义 为 : 在 企业 管理 和 决策 
中 面向 主题 的 、 集 成 的 、 与 时 间 相 关 的 、 不 可 修改 的 数据 集合 。 可 见 ， 数 据 仓 库 中 的 数据 
是 面向 不 同 目标 主题 的 历史 数据 的 集合 。 

数据 集 市 (Data Mart) 是 面向 主题 的 数据 集合 体 ， 就 好 比 现实 生活 中 的 集 市 ， 按 照 不 
同 的 服务 功能 分 为 蔬菜 、 服 装 、 肉 类 、 生 活用 品 等 不 同 的 专区 ， 人 们 可 以 根据 自身 需求 去 
不 同 的 专区 购买 商品 。 数 据 集 市 是 在 数据 仓库 的 基础 上 ， 按 照 特定 的 数据 分 析 需 求 ， 对 数 
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据 进一步 的 汇总 形成 的 ， 数 据 集 市 可 以 让 数据 更 加 聚焦 在 某 一 主题 ， 比 如 客户 、 产 品 、 渠 
道 、 资 源 、 供 应 商 、 人 力 资源 、 财 务 、 资 产 等 。 组 织 的 不 同 部 门 对 于 数据 的 关注 点 不 同 ， 
数据 集 市 可 以 更 好 地 满足 不 同 部 门 的 特定 需求 。 

数据 挖 据 (Data Mining) 通过 从 大 量 的 、 不 完全 的 、 有 噪声 的 、 模 糊 的 数据 中 提取 隐 
含 在 其 中 的 、 人 们 事先 不 知道 的 、 但 又 是 潜在 有 用 的 信息 和 知识 。 典 型 案例 就 是 啤酒 与 尿 
布 的 故事 ， 通 过 数据 挖掘 可 以 发 现 平 时 不 能 察觉 的 客户 购买 行为 。 数 据 挖掘 需要 以 大 量 历 
史 数 据 作为 分 析 基 础 ， 还 需要 构建 数据 挖掘 所 需 的 模型 ， 数 据 挖 抉 方法 包括 回归 分 析 、 聚 
类 、 关 联 规则 、 特 征 、 变 化 和 偏差 分 析 、Web 页 挖掘 等 。 

商业 智能 (Business Intelligence) 更 多 的 是 一 个 概念 ， 其 目标 是 将 数据 转换 为 知识 
帮助 企业 做 出 明智 的 生产 与 经 营 决 策 。 商 业 智 能 需要 利用 数据 仓库 、 数 据 挖掘 、 在 线 分 析 
处 理 等 技术 来 实现 。 

大 数据 〈Big Data) 的 特征 是 数据 规模 大 、 类 型 多 样 、 产 生 速 度 快 、 面 向 价值 。 数 据 
规模 大 是 一 个 形容 词 ， 业 界 也 称 之 为 海量 数据 。 类 型 多 样 意味 着 不 仅仅 包括 结构 化 数据 ， 
还 包括 文本 、 图 片 、 语 音 、 视 频 、 邮 件 等 半 结 构 化 和 非 结构 化 数据 。 产 生 速 度 快 是 随 着 移 
动 互联 网 和 物 联 网 的 飞速 发 展 ， 个 人 以 及 各 种 传感器 成 为 数据 产生 的 重要 源头 ， 数 据 产 生 
的 速度 更 快 了 。 面 向 价值 是 指 大 数据 的 目标 是 发 现价 值 。 


9. OLTP、 OLAP 


在 线 事务 处 理 (On-Line Transaction Processing，OLTP) 包括 增加 、 删 除 、 修 改 等 数据 
维护 功能 。OLTP 的 特点 是 事务 性 ， 事 务 的 特点 是 ACID， 即 原子 性 〈Atomicity)、 一 致 性 
(Consistency)、 隔 离 性 〈Isolation)、 持 久 性 (Durability)。 事 务 要 求 保证 操作 的 完整 性 ， 
操作 要 么 成 功 ， 要 么 失败 ， 没 有 中 间 状 态 。 

在 线 分 析 处 理 (On-Line Analytical Processing，OLAP ) 强调 数据 分 析 结 果 反 馈 的 效率 ， 
许多 时 候 用 户 希 望 能 够 快速 地 看 到 对 大 量 数据 统计 的 结果 “在 线 ” 体现 了 数据 获取 速度 的 
要 求 ， 比 如 电信 运营 商 的 无 线 网 络 建设 者 需要 快速 掌握 基站 的 数量 、 分 布 、 数 据 流量 区 间 
等 。OLAP 应 用 通常 采用 分 区 、 集 群 等 数据 库 技 术 来 提高 数据 分 析 的 效率 ， 通 过 系统 后 台 
创建 中 间 表 的 方式 让 用 户 快速 看 到 数据 统计 的 结果 。 典 型 的 OLAP 应 用 包括 关于 销售 、 市 
场 、 管 理 报表 、BPM、 预 算 与 预测 的 商务 报告 。 基 本 的 多 维 分 析 操 作 有 钻 取 〈Drill-up 和 
Drill-down)、 切 片 〈Slice) 和 切 块 (Dice) 以 及 旋转 (Pivot) 等 。 
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10. 实时 、 准 实时 、 非 实时 


这 三 种 叫 法 都 是 从 系统 的 处 理 和 响应 时 间 角 度 出 发 的 。 实 时 任务 的 响应 时 间 通 常 是 在 
ls 以 内 ， 对 于 用 户 来 说 几乎 没有 感到 时 间 的 延迟 ， 因 此 称 之 为 “实时 ”， 其 实 绝对 实时 是 
不 存在 的 ; 准 实 时 任务 的 响应 时 间 比 实时 的 要 长 ， 通 常 在 几 分 钟 之 内 ; 非 实时 是 与 实时 相 
对 的 叫 法 。 


11. 结构 化 数据 、 半 结构 化 数据 、 非 结构 化 数据 


结构 化 数据 是 具有 共同 特征 (比如 数据 类 型 、 长 度 等 ) 的 数据 集合 ， 例 如 ， 以 二 维 表 
格 形式 存储 的 个 人 信息 姓名、 年 龄 、 身 高 、 体 重 等 ) 属于 结构 化 数据 。 

非 结构 化 数据 无 法 以 二 维 表 格 形式 管理 , 通常 以 文档 、 图 片 、 录 音 、 视 频 等 形式 存在 。 

半 结 构 数据 则 介 于 结构 化 和 非 结构 化 数据 之 间 ， 其 主要 特征 就 是 数据 定义 (又 称 为 元 
数据 ) 和 数据 内 容 是 合 在 一 起 的 ， 比 如 Web 网 页 、 邮 件 等 。 目 前 结构 化 数据 主要 以 关系 型 
数据 库存 储 和 管理 ， 更 容易 统计 和 分 析 ， 而 非 结 构 化 数据 则 通常 需要 先 完成 结构 化 工作 。 


12. 交互 存储 区 、 集 成 存储 区 、 近 线 存 储 区 、 归 档 存 储 区 


以 上 存储 区 主要 是 从 数据 生命 周期 角度 划分 的 ， 不 同 的 数据 满足 不 同 的 应 用 需求 和 管 

交互 存储 区 (Interactive Sector) 的 数据 产生 速度 通常 在 几 秒 钟 之 内 , 数据 的 活性 最 强 ; 
集成 存储 区 (Integrated Sector) 通常 存储 1 天 、1 个 月 、1 季度 或 者 1 年 的 数据 ， 集 成 存储 
区 的 数据 来 自 于 交互 存储 区 ， 通 常用 于 OLAP 应 用 ; 近 线 存储 区 (Near-Line Sector) 通常 
存储 3 一 5 年 的 数据 ,数据 可 以 直接 来 自 于 交互 存储 区 , 也 可 以 来 自 于 集成 存储 区 , 通常 用 
于 数据 挖掘 应 用 ;归档 存储 区 (Archival Sector) 的 数据 可 能 来 自 于 集成 存储 区 和 近 线 存储 
区 ， 数 据 存 储 年 限 为 5~10 年 ,通常 是 由 于 政策 法 规 的 要 求 而 存储 的 ， 数 据 的 查询 频率 
很 低 。 
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一 一 一 一 后 记 : 愿 大 数据 运营 成 为 一 种 思维 方式 


早 在 2011 年 ， 感觉 自己 已 经 从 事 了 十 几 年 信息 化 相关 的 工作 ， 在 信息 系统 规划 设计 、 
工程 设计 、 软 件 研发 、 技 术 管理 等 方面 积累 了 不 少 的 经 验 ， 是 时 候 写 一 本 书 了 。 通 过 写 书 ， 
既 可 以 实现 多 年 前 自己 的 一 个 愿望 ， 也 可 以 把 自己 多 年 的 知识 重新 梳理 一 下 。 可 以 说 ， 写 
作 就 是 一 个 学 习 的 历程 。 

在 多 年 的 信息 化 工作 过 程 中 ， 我 发 现 许多 企业 难以 将 发 展 战略 有 效 地 贯彻 到 企业 运营 
过 程 中 , 难以 将 业务 需求 和 IT 支撑 能 力 对 齐 ， 难 以 实现 从 战略 到 运营 、 从 业务 到 技术 的 有 
效 传递 。 于 是 我 就 想 ， 是 否 有 一 种 行 之 有 效 的 方法 ， 可 以 拉 近 其 至 填 平 不 同 参与 方 的 认 知 
鸿沟 ， 通 过 模型 设计 将 复杂 的 企业 管理 问题 简单 化 ? 为 了 找到 解决 以 上 问题 的 方法 ， 我 学 
习 了 企业 架构 相关 知识 , 包括 Zachman 的 企业 架构 模型 、 电 信 管 理论 坛 的 Frameworx 框架 
体系 等 ， 后 来 根据 个 人 的 理解 ， 创 新 性 地 提出 了 能 够 贯通 战略 与 运营 、 业 务 与 技术 的 新 型 
企业 架构 模型 ， 即 本 书 第 1 章 的 企业 架构 模型 。 该 企业 架构 模型 从 10 个 视角 来 架构 企业 ， 
其 外 形 像 一 座 小 房子 ， 比 喻 架构 企业 就 像 建 造 房子 一 样 。 

近年 来 ， 随 着 物 联网 、 移 动 互联 网 、 云 计算 等 概念 的 提出 以 及 信息 通信 技术 的 飞速 发 
展 ， 社 会 上 积累 了 越 来 越 多 的 数据 ， 这 些 数 据 具有 规模 大 、 产 生 速度 快 、 类 型 多 样 、 价 值 
密度 低 等 特点 ， 如 果 能 够 对 这 些 数据 加 以 利用 ， 将 会 有 效 提升 组 织 的 决策 能 力 ， 这 就 是 当 
今 的 热点 话题 : 大 数据 。 

大 数据 来 源 于 运行 的 自然 世界 以 及 人 类 的 各 种 社会 活动 ， 大 数据 可 以 反映 世界 万 事 万 
物 之 间 的 联系 ， 通 过 基于 大 数据 的 分 析 ， 形 成 对 事物 发 展 规律 的 认识 。 对 于 当今 的 企业 来 
讲 ， 应 当 能 够 敏捷 地 响应 外 部 市 场 变化 ， 应 当 认识 到 大 数据 资产 对 企业 发 展 的 重要 意义 ， 
主动 学 习 和 利用 大 数据 ， 从 战略 、 管 理 以 及 执行 层面 提升 企业 决策 的 质量 和 决策 的 效率 。 

但 是 ， 企 业 如 何 利用 大 数据 ? 大 数据 如 何 植 入 企业 的 业务 活动 之 中 ? 操作 执行 活动 如 
何 与 分 析 决 策 活动 相 结合 ? 如 何 有 效 地 管理 大 数据 服务 ? 如 何 实现 大 数据 运营 ? 种 种 疑问 
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不 断 浮现 在 我 的 脑海 里 。 为 了 消除 心中 的 疑惑 ， 我 查阅 了 市 面 上 各 种 介绍 大 数据 的 图 书 和 
资料 ， 发 现 大 部 分 图 书 和 资料 都 是 讲述 大 数据 对 于 商业 与 社会 的 影响 ， 缺 少 全 面 地、 系统 
地 介绍 大 数据 在 企业 的 不 同 层次 、 不 同 阶段 设计 和 运用 的 资料 。 

于 是 我 尝试 着 从 企业 发 展 战略 、 战 术 、 执 行 3 个 层次 ， 从 需求 分 析 、 架 构 设 计 、 服 务 
转换 、 持 续 运 营 的 不 同 阶段 对 大 数据 服务 进行 考量 ， 发 现 企业 架构 能 够 有 效 地 衔接 战略 与 
运营 。 笔 者 以 企业 架构 为 切入 点 ， 以 大 数据 服务 为 支点 ， 以 自然 人 的 生命 周期 为 喻 ， 创 新 
性 地 提出 了 大 数据 服务 从 筑 巢 、 联 姻 、 孕 育 、 分 娩 、 培 育 、 腾 飞 的 发 展 过 程 ， 其 中 筑 巢 对 
应 企业 的 架构 设计 阶段 ， 联 姻 对 应 大 数据 服务 与 企业 架构 结合 阶段 ， 孕 育 对 应 大 数据 服务 
设计 阶段 ， 分 娩 对 应 大 数据 服务 转化 阶段 ， 培 育 对 应 大 数据 服务 运营 阶段 ， 腾 飞 对 应 大 数 
据 服务 应 用 实践 阶段 。 可 以 说 , 企业 通过 “ 筑 人 梨 ”， 为 企业 大 数据 服务 打 好 了 基础 ， 通过“ 联 
姻 ”“ 孕 育 ”“ 分 娩 和 “培育 ”的 发 展 历程 ， 最 终 实现 大 数据 服务 的 “腾飞 ”。 大 数据 服务 
助力 企业 “腾飞 ”是 大 数据 服务 追求 的 最 终 目 标 和 归宿 。 

以 上 思路 的 灵感 和 源泉 一 方面 来 自 于 个 人 多 年 企业 信息 化 的 工作 经 验 ， 另 一 方面 则 归 
功 于 两 个 行业 的 国际 最 佳 实践 ， 一 个 是 电信 行业 的 Frameworx 框架 体系 ， 另 一 个 是 IT 行 
业 的 ITILITSM 框架 体系 。 前 者 采用 业务 过 程 、 信 息 与 数据 、 应 用 、 系 统 集成 4 个 视角 实 
现 了 企业 从 战略 、 建 设 到 运营 以 及 从 业务 、 应 用 到 技术 的 有 效 衔接 ， 解 决 了 大 数据 服务 与 
企业 业务 活动 结合 的 问题 以 及 大 数据 服务 如 何 管理 的 问题 ， 后 者 则 是 从 软件 工程 的 角度 ， 
解决 了 大 数据 服务 从 需求 分 析 、 架 构 设 计 、 开 发 实现 、 测 试 部 署 、 上 线 运 营 、 持 续 优化 完 
善 的 全 生命 周期 管理 的 问题 。 以 上 两 个 框架 体系 成 为 本 书 的 方法 论 基 础 。 

本 书写 作 的 主要 收获 是 实现 了 知识 结构 的 系统 化 。 在 以 往 的 工作 中 ， 由 于 工作 需要 ， 
往往 是 对 某 一 个 方面 了 解 得 多 一 些 ， 而 有 些 方面 由 于 时 间 、 精 力 限制 掌握 得 比较 薄弱 ， 通 
过 在 本 书写 作 过 程 中 的 学 习 ， 将 许多 零散 的 知识 点 串 接 起 来 ， 从 总 体 上 打通 了 思路 ， 使 得 
知识 结构 更 加 完善 。 

当然 ， 由 于 时 间 、 精 力 、 个 人 水 平 以 及 实践 经 验 的 限制 ， 本 书 也 留 下 了 一 些 遗 憾 。 首 
先 ， 本 书 对 于 支撑 大 数据 服务 的 分 析 模 型 介绍 得 较 少 ， 没 有 将 操作 模型 和 分 析 模型 在 市 场 
营销 、 销 售 、 客 户 服务 、 产 品 、 渠 道 、 资 源 等 方面 结合 起 来 论述 ， 其次， 本 书 介 绍 大 数据 
服务 在 各 个 行业 的 应 用 案例 较 少 ， 主 要 给 出 了 大 数据 服务 在 电信 行业 、 金 融 行业 以 及 互联 
网 行业 的 一 些 应 用 案例 ;最 后 ， 本 书 的 许多 内 容 更 多 地 采用 理论 分 析 的 方式 进行 说 明 ， 具 
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服务 型 企业 架构 新 思维 
体 的 实例 较 少 ， 这 或 许 让 图 书 的 某 些 内容 变 得 抽象 ， 不 便于 理解 。 此 版 图 书 内 容 中 的 一 些 
遗憾 希望 在 今后 的 版 本 中 得 以 弥补 。 

最 后 ， 要 再 次 感谢 我 的 妻子 和 孩子 对 于 本 书写 作 的 理解 与 支持 ， 让 我 深 深 地 感受 到 家 
庭 对 于 一 个 人 的 重要 性 。 本 书写 作 占 用 了 大 部 分 业余 时 间 ， 为 了 完成 本 书 ， 不 得 不 坚守 不 
寞 ， 放 弃 了 陪 家 人 一 起 外 出 游玩 的 美好 时 光 ， 牺 牲 了 与 亲朋 好 友 聚 会 的 机 会 ， 这 不 能 不 说 
是 一 种 难以 两 全 的 遗憾 ， 希 望 在 今后 的 日 子 里 ， 能 够 多 些 时 间 陪 陪 家 人 ， 多 些 时 间 与 亲朋 
好 友 的 沟通 交流 。 


李 福 东 ，2015 年 4 月 于 北京 
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